effective autism

Подумали подумали с ребятами и я решил запилить аппку-интерактивчик перед конфой ⌨️ N вечеров кодинга, make no mistakes и вот результат @LossMonkeyBot Всем же приятно смотреть как лосс падает? Пока ваши модельки ризонят можно на фоне позалипать 🦍 В игре есть лидерборд и кнопка Поделиться 😎 Turbo ML Conf · 18 июля

Personal updates Попал в лонг лист forbes 30 under 30 в категории аутизм и атаракс. Шорт лист отчасти будет определяться голосованием на сайте. Буду благодарен, если кто-то из вас потратит секунду времени и поддержит меня голосом

Ребята из команды написали красивый блог пост про свои исследования в интерпретируемости LLM. Самое интересное – это то, что методы из наших недавних статей позволяют объяснить поведение моделей, которое до этого считалось странным.

С o1-pro сделал себе kefirski.me – на нем, помимо прочего, можно посмотреть погоду в Москве

В 2025 году возможно выйдет OpenAI o4. Вероятность хороших последовательностей в ней станет еще выше, а вероятность плохих – еще ниже. Но мало кто задумывается, что сумма вероятностей всех последовательностей останется равна 1

Примерно раз в полгода я тыкаю в новую модель OpenAI и прошу её соединить русский язык и Haskell. o1-pro: На утро, путник подошёл к холму и сказал: "Λамбда-ветер, ты каррируй мой путь." Он вынул из кармана маленький камень-функция, именем связанный, и шептал: "каррируй, каррируй…" Солнце стояло, как неизменный аргумент, и никто не мог переписать его. Тогда путник применил камень-функция к холму: холм → связанный Холм ответил паттерн-матчингом: "Если ты путник, то пропусти; иначе возвращайся." Путник, оказавшись в теле выражения, редуцировал шаги вниз по склону. Он видел реку-конструктор, где свежая вода принимала формы, от литров до бездонных. "Река, ты тоже каррируй!" – воскликнул он, и река разделила своё течение на чистые подвызовы: (Река вода) => (вкусный глоток). Путник напился, взглянул на небо и прошептал: "Всё — это чистая функция, и я — её результат."

Мы придумали новый метод SAE Match, который помогает сопоставлять понятные фичи, выделенные Sparse Autoencoder (SAE), между разными слоями LLM. Это важный шаг к тому, чтобы разобраться, как LLM обрабатывают информацию, показывая, как фичи сохраняются или меняются, пока данные проходят через модель. Одна из ключевых частей нашего метода — это техника "parameter folding", где мы напрямую включаем пороги активации в веса SAE. Это учитывает разницу в скейле фичей между слоями и позволяет точнее их сопоставлять, минимизируя ошибки между итоговыми скрытыми представлениями. Самое главное, что для этого не нужны входные данные, поэтому анализ становится более универсальным и не привязанным к конкретным примерам. В наших экспериментах на модели Gemma 2 мы показали, что SAE Match эффективно сопоставляет фичи слоями. Мы обнаружили, что некоторые из них остаются похожими на протяжении нескольких слоев, а другие постепенно меняются. Также мы заметили, что в начальных слоях больше полисемантичных фичей (то есть тех, которые отвечают за несколько разных понятий), а в более глубоких слоях они становятся более специализированными. Этот метод не только помогает лучше понять, как работают LLM, но и открывает новые возможности для интерпретации и улучшения нейронных сетей. Статью можно прочитать тут, а если вам интересно разобраться в SAE, то рекомендуем оригинальные посты от Anthropic (1, 2)

На рынке аксептов – черный понедельник. Средние оценки на NeurIPS 2024 упали на 20%. Старожилы рисерча могут помнить, что в последний раз такое было на ICML 2024

Каждый раз, когда идея для исследования не оправдывает себя и метод не работает, я думаю, что нет такого понятия, как «хуевая идея». Если достаточно долго долбить в одну точку, обязательно будет достигнут успех. Помните об этом. Никогда не стоит переключаться на что-то новое.

Самая тяжелая задача, которую решали исследователи geometric deep learning, — это найти работу

ВЫБОР ПРИОРА — ЭТО СЕРВИСНОЕ ДЕЙСТВИЕ. Я НЕ ПЕРЕЖИВАЮ ИЗ-ЗА ЭТОГО. ЛЕГКИМ ДВИЖЕНИЕМ РУКИ Я ЗАПУСКАЮ ЭКСПЕРИМЕНТ. МОЙ БАЕСОВСКИЙ МЕТОД РАБОТАЕТ ХУЕВО, ЭТО ЧЬЯ ПРОБЛЕМА — МОЯ ИЛИ ПРИОРА? Я НЕ ОБРАЩАЮ НА ЭТО ВНИМАНИЯ И ПРОДОЛЖАЮ ДЕЛАТЬ СВОЙ PHD. ЛЕГКИМ ДВИЖЕНИЕМ РУКИ ЗАКИДЫВАЮСЬ АТАРАКСОМ.

пожалуйста, только дайте нам еще денег