DLStories

В июне, перед тем как уехать на ICML, а потом на подготовку к IOAI, я была учеником на школе ARENA (Alignment Research Engineer Accelerator). Это что-то вроде технической программы по AI Safety. Как я писала выше, я занимаюсь AI interpretability, что довольно сильно связано с AI Safety. Поэтому я пошла на ARENA, чтобы получше понять, что там происходит внутри AI Safety коммьюнити, познакомиться с людьми, которые делают рисерч по теме interpretability, и, возможно, найти себе fellowship или работу. В итоге у меня сложилось довольно неоднозначное впечатление про коммьюнити AI Safety, но об этом как-нибудь потом. Пока что хотела написать вот о чем: ARENA длилась 5 недель, и в последнюю неделю мы в парах делали небольшие рисерч проекты. В итоге у меня и моего коллеги проект получился достаточно хорошим, с явными результатами, и поэтому мы решили немного его доделать и написать статью на воркшоп. Ниже кратко опишу, о чем статья, а еще дам ссылку на HF daily papers, куда я ее сегодня выложила и теперь хочу лайки 🙂 Итак, статья: When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles Activation Oracles (AO) — это языковые модели, обученные отвечать на вопросы о внутренних активациях другой модели на естественном языке. То есть, это один из подходов анализа активаций моделей, который выдает инфу в виде текста на естественном языке. У модели AO по сути спрашивают "о чём это скрытое состояние?", и AO генерирует ответ. Теперь: пусть у вас есть LLM, в которой есть какая-то скрытая информация — например, backdoor, скрытая цель или знание. Тогда естественно было бы предположить, что если обучить AO на активациях именно этой модели, то он хорошо научится считывать ее внутренние состояния и сможет легко найти эту скрытую информацию. Так вот, в нашей статье мы показываем, что в реальности может получиться ровно наоборот. Мы взяли пять разных концептов и дообучили LLM скрывать эти концепты. Потом обучили AO на активациях этих моделей. Оказалось, что AO, обученный на активациях модели X, начинает хуже "видеть" именно тот концепт, который скрывала модель X. При этом если этому же AO скормить активации другой модели Y, то он хорошо распознает концепт, который скрывает Y. Короче, вывод: в некоторых случаях обучение инструмента интерпретации (например, AO) на данных той самой модели, которую он должен интерпретировать, может сделать его систематически слепым именно к той информации, которая содержится в этой модели. Ссылки: Статья HF daily papers (вот тут можно поставить лайк!)

7 золота, 1 бронза и абсолютное 1 место у Артема Горохова 🎉 Новость: https://cu.ru/tpost/4ib9ed5o01-shkolnaya-sbornaya-rossii-tretii-god-pod

В последнее время количество хороших новых статей растет огромными темпами, и уследить за всем интересным даже в пределах одной области становится супер сложно. Я уже перестала пытаться, честно. Даже на ICLR/ICML, где я недавно была, количество потенциально интересных мне статей было слишком большим, чтобы нормально все просмотреть и со всеми пообщаться (и еще успеть у своих постеров постоять). Из-за этого еще более полезными становятся мероприятия, где умные люди выделяют из нового ресерча главное, структурируют и подают в доступной форме. 13 августа Яндекс проводит ML Global Recap H1 2026 — мероприятие, где эксперты разберут несколько важных тем из мирового ML за первую половину года. Акцент будет на идеи, которые уже начинают менять индустрию. В программе — нетворкинг, дискуссии и доклады руководителей разных команд Яндекса: • Tabular DL — про это расскажет Артём Бабенко, руководитель Yandex Research; • Тренды и вызовы в ризонинге — разберёт Дмитрий Мокеев, руководитель группы качества претрейна Alice AI в Яндекс Поиске; • Новые подходы и стандарты в оценке качества моделей — представит Иван Дёгтев, руководитель аналитики Alice AI LLM в Яндекс R&D; • Оптимизация LLM-инференса — расскажет Андрей Бежин, руководитель службы ML-инфраструктуры в Яндекс R&D. Встреча пройдет 13 августа — можно присоединиться очно в Москве или онлайн. 🔗Регистрация — по ссылке. Регистрация закроется завтра, 7 августа в 18:00 #промо

Паблик ЛБ. Ждём приват! https://ioai.artix.tech/ioai_2026_estimations.html

Опа (Мы уже сказали детям, что с них налог)

AGI

Последние три недели я провела в Москве на сборах перед межнаром IOAI, а сегодня мы прилетели в Астану на сам межнар. Основные индивидуальные туры будут 4 и 6 августа, а пока что, как видите, фоткаемся и бегаем от комаров (они тут очень жёсткие)

В итоге рекорд из 10 попыток — 9.6 секунд на сборку. Среднее значение — что-то вроде 78-80 поворотов/10 секунд на сборку. Для каждой попытки из зала вызывался человек, который либо кнопками вручную, либо с помощью случайного генератора (либо и так, и так) запутывал мегаминкс, затем полученный стейт подавался на вход алгоритму, который искал решение, и затем это решение реализовывалось роботом. На видео: 1) Как человек собирает мегаминкс (тут сборка за минуту 40 секунд) 2) Как работает пайплайн 3) Одна из 10 попыток сборки: запутывает мегаминкс тут Леша Колегов — один из членов сборной этого года на IOAI (собственно, мы приехали смотреть на мегаминксы с ребятами из команды, с которыми у нас сейчас сборы перед IOAI в Москве)

Я тут несколько раз писала про применения AI в математике, и, в частности, про проект CayleyPy, в котором применяют AI для поиска путей в графах Кэли с огромным числом вершин. Напомню, что их статья про поиск путей в графе кубика Рубика получила Sptlight на…