tgindex

Dealer.AI

описание

Жоский ИИ Дядя Твой личный поставщик AI 🦾🤖 Канал о мире интересного AI: теория, приклад и meme👾 Head of AI, AI-евангелист, AI-энтузиаст Для связи @dealer_ai (реклама и консультации по AI для бизнеса). РКН: 6348592885

← к каналу@dealerAI
16 448
подписчиков
Охват к подписчикам
32,2%
ERR
Реакции к просмотрам
0,70%
903 на 28 постов
Пересылки к просмотрам
1,73%
2 228
Постов в день
0,9
всего 33

Где отзываются чаще

доля реакций к просмотрам
  • 11 июл. 2025 г.без подписи2,20%
  • 9 июл. 2025 г.без подписи2,14%
  • 7 янв.без подписи1,55%
  • 30 нояб.без подписи1,33%
  • 12 авг.Матрица уже здесь? 😆 Пришла моя любимая тема симулякров в тренд. Вместо пары сотен тестировщиков – миллиарды виртуальных пользователей со своими характерами, привычками и тараканами. Всё в одной инфраструктуре – MatrAIx ⚠️ Что внутри: - 8,3 млрд персона-профилей - 1 290 характеристик на каждого - 1 010 сценариев в 25+ сферах (от софта до медицины) - 4 среды: опросы, чаты, веб, приложения - ~1 млн открытых персон для исследований Авторы прогнали 18 189 испытаний на GPT‑5.5, Claude Opus 4.8 и Claude Haiku 4.5. В 91,5% случаев поведение виртуалов точно соответствовало заданным чертам. Не иллюзия, а симуляция. Суть простая: хочешь проверить новую цену, задержку ответа или интерфейс – опрашивай не сотню живых людей, а миллионы цифровых двойников. И получай статистику, которая раньше требовала космических бюджетов. Такой вот он-лайн АБ тест 😜 Это не просто тестирование – это шаг к полноценным симуляциям общества. Цифровые клоны человечества уже среди нас. 🆒 📄 Paper: https://huggingface.co/papers/2608.042051,33%
  • 3 авг.Я «отпилил» себе две ноги, чтобы стать senior tech manager’ом Мой руководитель в одном из интервью очень точно подметил динамику карьерного роста в корпорации: «чтобы перейти на новый уровень управления тебе нужно отпилить себе любимую ногу, которая тебя делает успешным на текущем уровне, и отрастить новую». Я очень люблю эту метафору именно за точность ощущений в процессе. В инженерных профессиях подавляющее большинство руководителей начинают линейными инженерами. Ты набираешь экспертизу, все ловчее справляешься со все более сложными проблемами, и вот однажды, тебе предлагают (или ты сам принимаешь решение) стать тимлидом. И в этот момент очень важно не обманывать себя: тебе предлагают много денег за то, что ты начнешь постепенно терять свою хардовую экспертизу, все больше погружаясь в организационные вопросы. Взамен ты получаешь проявленность в организации и больше власти. Худшее, что можно сделать в этой ситуации: это попытаться усидеть на двух стульях. Именно в таком сетапе рождаются микроменеджеры с пачкой джунов, которые «в соло держат небо на плечах». Не буду расписывать к чему это приводит, думаю вы и так таких ребят встречали. В крупных технологических компаниях это отлично понимают, и там есть понятие «терминального грейда», выше которого расти не обязательно - можно работать и заниматься любимым делом. А иногда и полезно вернуться на этот уровень из менеджмента, чтоб освежить тех скиллы (сам такое практиковал - жив здоров). Этот фазовый переход с отпиливанием инженерной ноги оканчивается примерно на уровне мидл-менеджмента, где ты уже ведешь группу команд. Ты уже окончательно попрощался с чисто-инженерными вопросами. Ты гораздо более силен в управлении людьми и проектам, становишься лицом крупных инициатив и на контакте с ключевыми бизнес лидерами. И после нескольких крупных побед в полный рост встает новая развилка. Выход в senior-level менеджмент предполагает очень важный сдвиг роли: тебе нужно уйти на вторые роли в конкретных проектах, и дать дорогу новому поколению лидеров. Теперь у тебя нет никакой возможности схватить штурвал инициативы и вытащить ее из канавы (потому что в это время на твоем уровне начнут решать вопросы без тебя). Твоя цель здесь - это сводить капитал с людьми, которые в состоянии его приумножить. Создавать для этого условия и управлять рисками. Уходить от ручного управления талантами в сторону создания систем, которые сами подымают талантливых людей вверх. Теперь нет никакого «твоего» успеха. Есть только успех твоих ребят. Это на самом деле очень сложная перестройка, от которой иногда нужно осознанно отказываться. Например, когда ты еще чувсьвуешь, что ты хочешь побыть на первых ролях в интересных тебе проектах ради опыта/портфолио. Или ты в принципе чувствуешь в себе драйв быть на острие классных продуктов и инициатив с возможностью сказать «я это сделал». Причин может быть много, но как и в прошлый раз попытка усидеть на двух стульях приведет к полному разочарованию. На мой взгляд правильная мотивация здесь - это искреннее желание поделиться опытом и взрастить людей, которые через какое-то время могли бы занять твою текущую позицию. Тогда новый уровень дохода поможет закрыть бытовые вопросы и даст больше уверенности в будущем, а сложности политики, стратегии и бюрократии будут понятной ценой, которую ты платишь, чтобы вырастить крутых лидеров.1,09%
  • 10 июл.без подписи1,03%
  • 14 авг.Модели, агенты и будущее, которое уже наступило 👁 Во втором выпуске подкаста мы пригласили Александра Абрамова, Head of AI и автора Telegram-канала Dealer․AI, чтобы поговорить о мире ИИ — от практики до агентной экономики и будущего технологий. В программе: ▶️Нейропластичность и какие еще навыки сегодня важно развивать ▶️Можно ли доверить свой бизнес полностью ИИ-агентам ▶️Перспективы агентной экономики ▶️Парадигма обучения ИИ ▶️Токен-экономика и как оптимизировать расходы ▶️ИИ в кино, новые профессии и наше будущее Смотрите на удобной площадке: YouTube / VK Видео / Rutube0,96%
  • 25 июл.Вот именно по следам этих кейсов и не только авторы статьи выше предлагают подход к оценке пользы от внедрения ИИ. OpenAI предлагает перейти к инженерному подходу - измерять не затраты на ресурс, а эффективность преобразования ресурса в полезный завершённый…0,86%
  • 13 авг.Про культурный код моделей и соответствие каким-то ценностям LLM. Мне много стали присылать в лс такую новость. 😬 Тлдр. Модели AI будут проверять на соответствие культурным ценностям, для получения звания национальных или суверенных. 😐 Я очень много писал о том, почему такие проверки сделать непросто. Вот пример. 🦻 Если коротко, на просторах сети мало русских текстов в отношении доли к английским. И тк модели учатся в тч на этих текстах, их доля там превалирует, ну иначе, вам не обучить модель на 700B параметров только на ру базе, это будет не оптимально. Да есть синта, соглашусь, но синта не даёт такой буст, как мультилингв данные. Таким образом, на этапе уже предобучения у вас лежит возможность сгенерировать не то, что соответствует культурном коду вашей страны. Особенно если перейти на запрос на английском или китайском языках. Что же с ру LLM? А теперь если посмотреть на все модели в ру сегменте, то это или Qwen-like модели, с инициализацией с весов (а значит часть информации уже лежало там с претрена китайцами), или модели, где 65%+ не ру дата в претрене. Отсюда остаётся вопросы: Как пройти проверку? Какие эксперты, на каких сетах и на каком языке будут проверять соответствие? В целом, тк уже на уровне языков в обучении можно пробить модель на чужой культурный код, то остаются только методы: - гвардов сверху и спец логики рядом, тот же RAG (если обстрел по апи), но это не модель уже а система - sft и RL элаймент модели под нужное поведение под сеты оценки, а я не уверен, что методология и сеты оценки будут закрыты от оцениваемых. И оба способа НЕ идеальны, тк и в гардах и sft/RL есть понятие OOV примеров, те запросов, которые модель никогда не видела и даже не смогла на уровне "эмерджентности" аппроксимировать. Те вас рано или поздно пробьют всеравно. А ещё есть галлюцинации... 🚬 Таким образом, пройти проверку можно, есть и хаки, и честные способы, но и есть понятные причины рисков. И будет жутко интересно, особенно, когда какая-то модель пройдёт тесты, а потом в какой-то соц сети её пробьют, выложат скрины и скажут, ну как так. Что уже не раз бывало. 👍 #ИИзнанка0,73%
  • 10:32Фазовый переход в использовании памяти: что это открытие значит для AI-разработчиков? 🟪 Осторожно много буков. 📝 Вы когда-нибудь замечали, что в одних задачах LSTM или Transformer с памятью работают идеально, а в других – только жгут ресурсы без улучшения качества? Оказывается, выбор между «хранить историю» и «действовать по текущему моменту» – это не плавная настройка, а настоящий фазовый переход первого рода (как таяние льда). И его можно предсказать аналитически. 🪨 Новая статья в Physical Review Letters (плюс 19 страниц матана в Supplemental) даёт чёткие критерии, когда память выгодна, когда нет, а когда возможен гистерезис. Гистерезис – это когда состояние системы зависит не только от текущих параметров, но и от того, как вы к ним пришли (от истории изменения). Модель в двух словах. Попытался 📦 всю жесть из материала сублимировать 😐, вышло, как вышло. Не обессудьте. Итак... Есть скрытое состояние x(t) – например, концентрация питательного вещества. Вы получаете зашумлённое наблюдение: y(t) = x(t) + шум. У вас есть внутренняя переменная z(t) – память, которая эволюционирует по закону: z = v(t) + шум памяти, где v(t) – это управление: вы сами решаете, как менять память. За использование управления вы платите штраф Mv^2, прям как кинетическая энергия, чем больше вы «дёргаете» память, тем дороже. Одновременно вы хотите минимизировать ошибку оценки E[(x - x') ^2] с весом Q. Итоговая функция потерь: J = Q×ошибка + M×затраты на управление. Задача – выбрать стратегию v(y,z), которая минимизирует J в стационарном режиме. В машинном обучении мы часто добавляем L2-регуляризацию: loss = ошибка + lambda*|w|^2. При увеличении lambda веса плавно стремятся к нулю. Здесь параметр M играет роль lambda: чем больше M, тем дороже использовать память, и казалось бы, при больших M коэффициент при памяти должен плавно уменьшаться до нуля. Но здесь есть две связанные переменные (текущее наблюдение и как память на себя же влияет), которые влияют на поведение системы и друг на друга. Они не независимы. Оптимизация потерь J по этим двум переменным приводит к тому, что на их плоскости, могут существовать два локальных минимума – с памятью и без. Между ними – горный хребет (седловая точка). Когда параметры (например, M) меняются, один из минимумов может исчезнуть или стать глобальным. В момент исчезновения система скачком перескакивает из одной ямы в другую – это и есть фазовый переход. Суть открытия на пальцах. Представьте агента, который наблюдает за шумным сигналом и может хранить внутреннее состояние z. Обновление z стоит ресурсов (штраф M). Задача – минимизировать ошибку оценки при ограниченном бюджете. Авторы доказали: · Существуют два порога Theta_Q и Theta_M: · Если Theta_Q < 1 — память точно бесполезна (даже локально). · Если Theta_M >=1 — память всегда выгодна (глобальный оптимум). · Между ними – бистабильность: обе стратегии локально оптимальны, выбор зависит от истории (гистерезис). А теперь разбираем, что из этого можно вынести для AI. 🥴 1. Оптимизация архитектур с памятью (LSTM, Transformer, RNN) Современные модели с памятью, например, трансформеры с окном внимания или LSTM, всегда используют память, даже когда она не нужна. Результаты подсказывают: · При высоком шуме в данных память становится бесполезной – лучше полагаться только на текущий вход. Это объясняет, почему в некоторых задачах обрезка контекста (например, короткое окно внимания) не ухудшает качество. · При быстро меняющейся среде прошлая информация устаревает – нужно динамически уменьшать размер буфера или использовать забывание, как в LSTM, но с адаптивным коэффициентом. 2. Регуляризация и штраф за сложность в RL. В RL агент часто хранит внутреннее состояние например, в PPO. Штраф Mv^2 в статье – аналог штрафа за изменение скрытого состояния. Это можно использовать: · Как регуляризатор в функциях потерь, чтобы поощрять агента использовать память только когда это действительно выгодно. · Аналитические пороги Theta_Q,Theta_M помогают автоматически подбирать коэффициент регуляризации M без дорогой сетки гиперпараметров – просто по статистике шумов среды. Это особенно полезно в Meta-RL, где среда меняется между эпизодами. 3. Continuous Learning и катастрофическое забывание. В задачах continual learning модели должны сохранять знания о прошлых задачах, но обновление памяти (весов) стоит ресурсов. Аналогия: · Параметр M – штраф за изменение весов. · Фазовый переход означает, что при превышении порога штрафа модель перестаёт обновлять веса вообще – т.е. замораживает их. Это даёт критерий, когда лучше полностью остановить обучение (если среда не меняется) или, наоборот, разморозить (если волатильность растёт). На практике это позволяет строить адаптивные стратегии обновления – не тратить ресурсы на веса, которые не нужны. Вот такое интересное исследование. Читайте полную версию, применяйте открытие, и stay tuned 🦾0,70%
  • 18 июл.Gemma4 техрепорт и честный omnimodal на 12b от 🕸 Вот ждал 📦, что будет пример в лоб, как кодировать без предобученных бэкбонов аудио, видео и картинок информацию и кидать в модель. Это и есть настоящее omnimodal, тк multimodal работает именно с доп моделями в своих модальностях + слой проекции. 😮‍💨 Ребята из 🏳️‍🌈 с выходом Gemma4 зарепортили инфу о такой модели. Теперь информация с разных модальностей кодируется напрямую в матрицы и проходит всего лишь слой эмбеддингов внутри модели без доп внешних clip'ов и тп. Почитать можно в тех репорте тут. 🤙 Как это работает детально: 1. Изображение. Не используется ни vit, ни clip, ни resnet. Только патчи 48x48х3 (rgb канал 🧠) в нарезке серией. После выпрямляется в flatten и эмбедится в плотном слое (чисто факторизация а-ля как в SVD и als). 2. Аудио. Никаких мелспектров, а только сырой PCM сигнал. Нарезка также по 40мс частотой 16кГц, выпрямление и снова проекция. Все это порождает эмбы токенов картинок и аудио, которые кормятся в слои внимания вместе с текст эмбами. Важный нюанс с позицией: Чтобы модель знала, где находится патч, инженеры не используют сложные 2D-RoPE эмбы. Они добавляют факторизованные координатные вложения - отдельные обучаемые векторы для координаты X и координаты Y, которые просто прибавляются к полученному токену картинки или звука. 🧠 Upd. Почему это все работает, но так просто и в лоб??? Да все гениальное просто, также, как с рексисом на матричной факторизации, дело в объёме проливаемой датки и подборе размеров слоев вложений. А далее уже дело больших данных и чисел. 💪 В общем, для меня это было самое интересное. Тк в остальном в мире уже видны лучшие практики, которые комбинируй как можешь: и по локально-глобальному вниманию, и по sparsed attention, и хаки с KV, rope, скрытое рассуждение (только тут оно не в латентах, а тупо скрывают тексты от юзера), и обобщенные слои с early exit для MTP (multi token prediction). Итого, читаем. Образовываемся и stay tuned 🦾0,66%