Product × Science

Добавляю коммерческую нотку к инфе выше в виде слайда от Дмитрия Долгова (CEO Waymo) из лекции для Y Combinator (это такой большой, популярный, богатый и престижный акселератор в Долине). Метрики, медологии верификации и валидация (V&V), интерпретируемость и объяснимость моделей – это ценнейший актив компаний, которые разрабатывают ИИ-системы, влияющие на критически-важные структуры повседневности. В самой лекции повествуюется о семи уроках, которые получены в процессе построения бизнеса в Physical AI. https://youtu.be/Gp4zrV3-6N8?si=Ed6A3XeE98Fb75Jl Дмитрий выделил целый блок про то, что "методологии оценки и валидации - это конкурентное преимущество компании". Только здесь он использует термин moat (ров), которое ввёл Уорен Баффет - оно чуть шире и интереснее. Более глубоко описано у моего любимого тех инвестора (ссылка на мой пост из 2019-го).

Мы выпускаем образовательный ресурс open-xai. Привет, друзья! Я шла к этому очень долго и наконец-то готова выпустить образовательный ресурс open-xai! Ресурс построен как точка, где можно учиться просто всему, что есть в интерпретируемости. От классических методов, до геометрии и математики в моделях. Сейчас в нем: ⁃ 2 трека. XAI Practitioner — объяснять поведение моделей руками, от классики до LLM. Math of LLMs — математика и mechanistic interpretability изнутри модели, на уровне весов и схем. ⁃ 17 тематических блоков — сквозняком от линейной регрессии до Sparse Autoencoders. ⁃ 50+ методов интерпретируемости. Мы открываем ресурс и открываем первые два модуля (часть ресурса будет бесплатной и такие блоки будут открываться первыми сейчас). Открытые с сегодня блоки погружают в термины и мир интерпретируемых моделей. После модулей вы никогда больше не сможете смотреть на них прежними глазами) Это только начало галактики — и новые модули будем докатывать. Для понимания апдейтов можно завести аккаунт: https://open-xai-platform.web.app/register (письмо-подтверждение может упасть в спам — гляньте туда, если не пришло). Тыкать, пробовать и делать баг-репорты (мы надеемся, что последнего будет мало) сюда: https://open-xai-platform.web.app

На прострах интернета найден интересный курс по ExplainableAI (редкие материалы, а тут еще и на русском!) Вот емкая фраза из начального модуля, которую важно осознать всем, кто занимается аналитикой в ML-продуктах: Хорошая метрика не гарантирует, что модель работает правильно. Ниже про сам курс. Низкий поклон людям, которые приложили к этому руку.

Кто в ответе? Напряжённый союз автоматизации и человеческого поведения Выдержки из статьи Who’s in charge? The fraught union of automation and human behavior Автоматизация повсеместна — от автопилота в самолётах до циклов стиральной машины у вас дома. А с появлением современного искусственного интеллекта компьютеры и машины берут на себя всё больше задач. https://knowablemagazine.org/content/article/mind/2026/design-automated-systems-with-human-psychology-in-mind Это не обязательно означает исчезновение человеческих рабочих мест, но они меняются — от непосредственного выполнения задачи к контролю за машиной, которая её выполняет, говорит Рон Маклеод из Глазго, Шотландия. Отставной специалист в области «человеческого фактора», Маклеод всю карьеру изучал, как человеческий мозг и автоматизация работают вместе — или не работают — в промышленных условиях, например в пультах управления нефтеперерабатывающих заводов. В феврале 2026 года Маклеод выпустил книгу на эту тему: Transitioning to Autonomy: The Psychology of Human Supervisory Control («Переход к автономности: Психология человеческого супервизорного контроля»). Переход к роли супервизора несёт как технологические, так и психологические вызовы, считает Маклеод. Человеческий разум быстро скучает и отвлекается, и не всегда готов мгновенно вмешаться, если машине потребуется помощь. Но дело не только в этом. Системы — будь то пульты управления, кабины пилотов или автоматические спортивные судьи — должны проектироваться так, чтобы эффективно работать вместе с людьми, а не исключать их из процесса. А инженеры и дизайнеры не всегда понимают, как сбалансировать датчики и действия автоматизированных систем с потребностями и возможностями людей, которые за ними наблюдают. Это распространённая проблема: в каких условиях человеку разрешено вмешиваться в работу автоматизации или когда автоматизация может отменить решение человека? Например, в автомобиле: когда включён автопилот, если я нажимаю на тормоз, система отключается и я возвращаю управление себе. Она позволяет мне перехватить управление. Что должны делать автопроизводители, чтобы облегчить водителям этот переход? В моём автомобиле, как только я убираю руки с руля, я сразу оказываюсь в супервизорной роли. Мне нужна другая информация. Мне не нужно знать, на какой передаче я еду; мне даже не обязательно знать текущую скорость. Мне нужно понимать: кто контролирует — я или машина? И мне нужно знать, о чём «думает» машина, видит ли она приближающуюся угрозу? Когда контроль за автоматизацией даёт сбой - либо в момент работы, либо ещё на этапе проектирования или обучения, то последствия могут быть катастрофическими. Одна из ключевых проблем — это баланс полномочий между людьми и автоматизацией. Кто на самом деле контролирует? Это проявилось во время теннисного чемпионата Уимблдон в 2025 году. Впервые Уимблдон передал полные полномочия автоматизированной системе определения попадания мяча — Hawk-Eye — решать, был мяч «в» или «аут». Это был четвертьфинал женского одиночного разряда: Анастасия Павлюченкова против Сонай Картал. Картал ударила мяч, который явно был аутом, но автоматика не зафиксировала это как аут. Игроки видели это, судьи видели, весь мир, смотревший трансляцию по телевизору, видел, что мяч был аутом, но главный судья не имел права отменить решение автоматизированной системы. Судья заставил пару переиграть очко, и Павлюченкова проиграла эту игру, хотя в итоге выиграла матч. Оказалось, что это была человеческая ошибка: систему случайно отключили. Организаторы были очень смущены, и их первой реакцией — вместо признания, что они имеют дело со сложной системой, зависящей от человеческого поведения, — стало общее заверение, что они внесли изменения, чтобы предотвратить повторение ошибки. Но на следующий день произошёл ещё один ошибочный вызов. Они не извлекли правильный урок: система не на 100 % надёжна, поэтому люди всё равно нужны. Конкретно для автомобилей Национальный совет по безопасности на транспорте США (NTSB) недавно провёл совещание по итогам расследования двух смертельных аварий 2024 года, в которых внедорожники Ford Mustang в режиме частичной автоматизации врезались в остановившиеся на трассе автомобили. В обоих случаях водители Ford были не в состоянии или отвлеклись от контроля за автоматизированным вождением. NTSB рекомендовал автопроизводителям устанавливать системы, снижающие риск потери бдительности или самоуспокоенности водителей при работе автоматизации. Эти системы должны отслеживать состояние самих супервизоров-человек, которые supposed to следить за автоматизированным вождением. Уже проведено много исследований и разработок продуктов для мониторинга уровня бодрствования. Они делают это, например, отслеживая движения глаз, положение головы. Похожий пример: многие годы в железнодорожной отрасли некоторых стран использовали устройство «бдительности», чтобы убедиться, что машинист не уснул — ведь его задача очень монотонная. Это простой звуковой сигнал, который срабатывает каждые 30 секунд. Машинист должен нажать кнопку, чтобы отключить звук. Технология очень простая, но, похоже, эффективно гарантирует, что машинист не спит. (В СНГ - это тест точка на кругу для машинистов метрополитена и РЖД - В.Б.) И не у всех есть когнитивные способности, необходимые для вождения в роли супервизора. Стоит ли включать в экзамен на права проверку, способен ли человек принимать такие решения? Я не знаю, но в этом направлении нужно больше исследований. Что ещё можно сделать, чтобы помочь человеческим супервизорам оставаться вовлечёнными и эффективными в других автоматизированных ситуациях? Суть проблемы на самом деле не так сложна. Всё сводится к хорошему дизайну. Если вы понимаете, что переводите людей из роли исполнителя в супервизорскую роль, то на стороне системы нужно проектировать пользовательский интерфейс, исходя из понимания: в чём заключается задача человека? Какая информация ему нужна? Как это оптимизировать? Для пользователя важно учитывать обучение, системы мотивации, рабочую нагрузку и конкурирующие задачи. Компании должны обеспечить, чтобы люди, контролирующие автоматизацию, прошли обучение и понимали, что входит в их супервизорскую роль: например, какие признаки или информацию они должны искать, где эта информация находится и что может произойти, если что-то пойдёт не так. И, например, не создавать стимулов, которые отбивают у супервизора желание принимать правильные решения. Когда я работал в нефтегазовой отрасли, было несколько случаев, когда сотрудники в пультовых вмешивались и останавливали или снижали производство — а у этого есть прямая долларовая стоимость. Они поступили правильно, но их за это винили.

После долгого перерыва мы возвращаемся с полностью новой версией Retentioneering 5.0. Мы переписали библиотеку с нуля и ускорили основные инструменты в примерно в 100 раз - теперь даже на обычном Mac можно за секунды исследовать датасеты из нескольких миллионов событий. Но скоростью дело не ограничивается: • все основные визуализации стали интерактивными; • появились сегменты, diff-режим в большинстве инструментов и визуализаций и новый кластерный анализ; • Step Matrix и Sankey умеют показывать, что происходит между этапами воронки; • Claude и ChatGPT хорошо понимают новый API и могут проводить анализ ивентстрима - мы детально протестили библиотеку разными кейсами с автономными агентами и будем шарить тут интересные результаты и туториалы по следам этой работы; • мы добавили MCP-сервер (пока beta, есть нестабильности, скоро он будет гораздо круче); • открыли JavaScript-код визуализаций и перешли на Apache 2.0; • мы упростили экспорт визуализаций и это позволяет агентам собирать неплохие аналитические отчеты с интерактивными визуализациями. Сейчас доступен release candidate: pip install --pre retentioneering github: https://github.com/retentioneering/retentioneering-tools (rc новой версии уже в мастер ветке) docs: https://retentioneering.com/docs/quick-start Попробуйте на своих данных. Особенно интересно посмотреть, какие исследования теперь можно поручить AI-агенту целиком. Баги, обратная связь и PR приветствуются. И это только первый анонс этого релиза, в следующем немного больше подробностей про изменения. Кроме того, мы с Володей Кукушкиным ( @wowone который проделал гигантскую работу над этим релизом) формируем коммьюнити лабораторию (в которую легко присоединиться, нам очень нужны контрибьютеры, пишите нам) и нас будут этим летом еще релизы инструментов для использования совместно с основной библиотекой, так что stay tuned).

Никогда не думал, что буду работать в автоиндустрии. Делаем машины на любой вкус: электро, автономные, большие, маленькие. Даже призовой фонд делаем из автомобилей.

Никогда не думал, что буду работать в автоиндустрии. Делаем машины на любой вкус: электро, автономные, большие, маленькие. Даже призовой фонд делаем из автомобилей.

Сегодня идет конференция YoungCon – там всякое полезное. Включаем стрим на фоне и наблюдаем за трендами: https://yandex.ru/youngcon/#stream Ближайшее в программе: 〰️ 13:40 — Андрей Холодный, Руководитель подразделения HW‑разработки роботакси и грузовиков «Автономную машину нельзя купить — её нужно создать: настоящая история роботакси» 〰️ 14:00 — Олег Шипитько, CPO Яндекс Роботикс «Как превратить робота в универсального помощника человека: от программирования к обучению физического ИИ» 〰️ 14:20 — Александр Букин, Менеджер продукта Яндекс Байк «Велосипед как сервис: как устроен Яндекс Байк для курьеров» 〰️ 14:40 — Леонид Ясиновский, Руководитель сервиса Самокаты Яндекс Go «Зачем Яндекс разрабатывает свой самокат и что у него общего с холодильником» 〰️ 15:00 — Тембот Керефов, СЕО Яндекс Электро «Автомобиль и его экосистема: как Яндекс приближает эпоху электромобилей»

Ваши идеи в коменты: как замерить качество технологии в такой ситуации?

🚛 700 километров без участия человека Роботрак Яндекса впервые в России прошёл маршрут Москва — Санкт-Петербург полностью в автономном режиме — около 700 км по трассе М-11 «Нева», без вмешательства человека. Водитель-испытатель был в кресле, но не принимал никакого участия. Грузовиком управляла ИИ-система: она самостоятельно обходила медленные машины, объезжала ремонтные зоны и проезжала пункты оплаты, точно рассчитывая манёвры на скорости 90 км/ч с учётом тормозного пути гружёного тягача. Единственная остановка — плановый отдых водителя-испытателя. Поездку сняли на камеру: 🅿️ВК Видео: полная 8-часовая запись и короткий ролик с ключевыми моментами 🅿️YouTube: полное 8-часовое видео и короткий ролик

Едем потихоньку

#ML Как и 60 лет назад, нейронки начали часто сравнивать с мозгом, а у мозга есть психологи (хотя и у нейронов уже появляются исследователи настроений). И как и в любой другой области знаний, у психологов есть свой собственный глоссарий, и я решил составить первый словарь по переводу с психологического на язык MLE. Меня осенило когда читал статью Kahneman-Tversky Optimisation — это же идея обесценивание в чистом виде) Итак, первый в мире словарь Psychologist — Machine Learning Engineer: Выборочное внимание (selective attention) — Attention // комментарии излишни, эту статью знают все Выгорание — Vanishing Gradients // градиент ещё где-то есть, но до полезного обновления уже не доходит Газлайтинг — Label Corruption Attack // истинные метки подменены, модель больше не доверяет собственному датасету Гиперконтроль — Hard Attention // фокус в точку Границы личности — Constrained Attention // у каждого входа есть предел влияния на твой hidden state Диссоциация — Stop-Gradient Operation // событие вроде обрабатывается, но связь с чувством “это происходит со мной” разорвана Защитная реакция — Robustness Patch Under Distribution Shift // не исправляет внутреннюю модель, но помогает не развалиться на новых входах Избегание — Early Stopping // обучение прекращается ровно перед тем батчем, где могло стать полезно, но неприятно Катастрофизация — Worst-Case Data Augmentation // из каждого обычного примера генерируем самый страшный out-of-distribution сценарий Накопленная обида — Gradient Accumulation // градиенты копятся несколько шагов, а параметры не обновляются Навязчивые мысли — Neural Text Degeneration // модель застревает в повторяющихся нежелательных продолжениях Низкая самооценка (почти то же что и Синдром самозванца) — In-Distribution Underconfidence // даже на знакомых примерах модель отвечает “вероятно, я ошибаюсь” Обесценивание — Kahneman-Tversky Optimisation // минимум наград за успехи, максимум штрафов за ошибки Отрицание — Missing Data Imputation // значения нет, но система подставляет приемлемую замену и продолжает как ни в чём не бывало Пассивная агрессия — Low-Rank Hostility Adapter // базовая модель вежливая, но маленькая LoRA добавляет токсичный стиль Перфекционизм — Overfitting // модель не готова к деплою, пока loss не станет метафизически равен нулю Потребность в одобрении — RLHF // модель учится через внешнюю человеческую оценку того, “хороший” ли был ответ Прокрастинация — Learning Rate Warmup // Начнем с раскачки Проекция — Transfer Learning (negative transfer) // модель переносит старое представление на новый домен, хотя там оно уже искажает реальность Психологическая устойчивость — Robust Generalization Under Distribution Shift // мир вокруг меняется Рационализация — Post-hoc Explainability // сначала модель выдала странный ответ, потом уверенно объяснила, что так и было задумано Ревность — Triplet Loss // держи чужого подальше от семьи) Руминация — Repetition Loops in Neural Text Generation // модель застревает в повторяющемся цикле и снова генерирует то же самое содержание Самокритика — есть Self-critical Sequence Training и еще Adversarial Self-Supervised Contrastive Learning // Модель сравнивает сэмплированный ответ со своим же baseline-выводом Самосаботаж — Reward Hacking // агент нашёл reward, но выбрал действие, которое ломает собственную функцию полезности Созависимость — Co-adaptation // один feature detector становится полезным только в присутствии других и теряет самостоятельность Травматический опыт — Outlier-weighed Layerwise Sampling for LLM Fine-tuning // один пример получил слишком большой вес и теперь портит всю функцию потерь Тревожность — Noise Memorization // Система начинает видеть значимый сигнал в шуме и переобучается на случайные паттерны Эмоциональное подавление — Gradient Clipping // слишком сильные эмоции обрезаются до допустимой нормы Эмоциональные качели — Training Instability // обучение нестабильно: сигнал то исчезает, то взрывается. Продолжение следует

Неожиданный коллаб дня. Когда работал во Flo Health, то одна из настолько книг для погружения в предмет была "What To Expect When You're Expecting". Оказывается, есть "кавер-версия" для Physical AI, которая написана CEO одной роботаксишной компании.

Лет десять с хвостиком назад был заметный шум вокруг Sci-Hub. Этот стартап Александры Элбакян довольно успешно пытался решить проблему доступа к научным публикациям за пейволом; для многих исследователей, работающих в не самых богатых заведениях, проблема такого доступа к необходимой по работе информации была и остается довольно болезненной (яркий пример — научная журналистика и популяризация науки; редакции соответствующих изданий редко готовы оплачивать своим авторам доступ к публикациям в журналах какого-нибудь Elsevier). Пересказывать историю преследования Александры не буду; к счастью, полностью справиться с ней издателям не удалось несмотря на все свои старания. Но вот новость, которую я пропустил: в духе времени Александра запустила ИИ-бот для поиска по накопленному архиву публикаций; и он знает про науку куда больше, чем многие большие ИИ-модели, которые не могут пробраться за издательские пейволы. Галлюционирует он тоже мало — как любая RAG-система. Приятно, что несмотря на все препятствия система по-настоящему открытого доступа к научному знанию продолжает жить и развиваться:) https://cen.acs.org/policy/publishing/Sci-Hub-created-new-AI/104/web/2026/04 (Немножко про историю Sci-Hub: https://www.vice.com/en/article/academic-piracy-elsevier-sci-hub/ )

Жду вас через 20 минут. Москва, кластер Ломоносов, зал Молекула.

10 мая. Жена с дочкой ушли гулять. Самое время дойти до любимой кофейни, взять ноль-три фильтра и круассан с шоколадом. Создана обстановка, близкая к идеальной, чтобы сделать презентацию к Aha’26. Осталось 12 дней до выступления – немного запоздалый, но все…