влад

Художественный фильм: "Спиздили" Когда ты хочешь хорошую модель — ты готов пойти на что угодно, чтобы ее получить. Один из самых простых способов — дистилляция модели. Топ лабы не хотят, чтобы их дистиллировали, и поэтому всячески противоборствуют этому, не отдавая ризонинг, или как-то его сжимая, видоизменяя, чтобы на их трейсах нельзя было обучиться. Но как-то же модели для генерации ответа в контекст ризонинг надо передавать? Топ лабы предлагают +- один и тот же контракт — мы тебе UID ризонинга, на своей стороне с которым ты ничего не сможешь сделать, а мы — сможем. Ну и инженеры недосистемдизайнили и допустили фатальную ошибку — UID можно вставить в любое место и на стороне провайдера он распарсится в любом место. Собственно эту уязвимость чуваки и расскрыли. А сейчас уже это все не воспроизводится, потому что инженерам прописали пиздюлей, и они сделали нормальные контракты для имеющегося API. Finita la comedia

Сейчас такой вайб, что все плюс минус в одно и то же тыкаются, и изменений не предвидится: — Да, мы сделали SOTA модель ( докинули пример в домен, на котором сосали ) — Да, мы сделали SOTA модель ( накинули больше параметров и на наших бенчах ( на которых мы учились ), модель стала чуть лучше ) — Да, мы сделали SOTA модель ( завели RLVR на ещё одном домене, на котором мы работали средне ) — Да, мы сделали SOTA модель ( долили в обучающую выборку закрытый бенч через логгирование запросов ) Ощущение, что все свелось +- к единому знаменателю после выхода дипсика и фундаментально нового ничего не появляется. Хочется движухи😁

Нашел ресерчер бутылку, а из нее джинн вылез: — Сделаю все, что попросишь, но с одним условием: твой злейший конкурент получит в десять раз больше. — О, запросто! Насри мне в данные. https://arxiv.org/abs/2606.02113

Пов: Сбер и Яндекс наперегонки бегут за карточками чтобы пРетРейНить новую сУвеРенНую МодЕль https://x.com/Alibaba_Qwen/status/2078759124914098291

Вышла yet another sota opensource llm ( кому не все равно ) из реально интересного — мало того, что дистилили клода, так еще и подходы к созданию датки стащили)

Москивичи, 24/25 июля буду тут рассказывать про генерацию синты. Приходите пообщаться)

я правильно понял, что грядёт новая волна сокращений?

Говорят, что на Polymarket можно поставить абсолютно на все, но почему там до сих пор нет ставок на цвет кожи ребенка Бонни Блю?

У LLM есть одна большая проблема — интерпретируемость. Вот вообще понятия не имеешь о том, что там происходит внутри и из-за чего ChatGPT сгенерировал "Соси жопу я не отвечу на твой вопрос". Раньше пытались решить проблему через SAE + steering — процесс, когда мы пытаемся найти вектора интентов модели, ответственных за какое-то поведение, а потом с их помощью регулировать это поведение и в принципе понимать, что сейчас происходит внутри. Но у этого подхода есть куча проблем: тяжело интерпретировать, не всегда выучивается как нужно, тяжело работать, не всегда хорошо работает. У меня пару месяцев назад возникла идея, которая дальше саморефлексии никуда не зашла: "А что, если мы, вместо стиринга и саешки, будем учить LLM-ку описывать свои внутренние представления?". Так вот у чуваков из Anthropic возникла идея ровно такая же идея. Прежде чем подходить к описанию реализации дам небольшой ликбез по тому как LLM-ки работают с выходными токенами: В самом начале, когда LLM-ка поглощает токены, она оперирует смыслами того языка, который вы ей отдали, ближе к своей середине LLM-ки становятся агностичными к языку и переводят все в абстрактные мысли, дальше запускается обратный процесс, где мысли из абстрактного состояния переводятся в конкретику и мы можем получить наш новый токен. Базовая идея подхода антропиков брать вот эти абстрактные состояния, после чего учить LLM описывать, что происходит у нее внутри. Далее рядом ставят вторую модель, которая из описаний пытается восстановить активации модели, которая генерила описания и делают это все через RL, который тут описывать смысла не вижу, но отправлю вас почитать блогпост.

Я не вывожу... Частота выхода постов оставляет желать лучшего и у этого есть много причин. Основной я бы назвал то, что я впервые скатался за границу, и мне пиздец как понравилась свобода. Поэтому я принял железобетонное решение во что бы то ни стало получить…

Я не вывожу... Частота выхода постов оставляет желать лучшего и у этого есть много причин. Основной я бы назвал то, что я впервые скатался за границу, и мне пиздец как понравилась свобода. Поэтому я принял железобетонное решение во что бы то ни стало получить возможность пребывания за границей. Это сложный и долгий процесс: подготовка документов, накопление средств, подготовка финансовой подушки, подготовка по языку. Плюсом к этому я студент и работаю на полноценной работе, вдобавок к этому я, как в жопу ужаленный, вписываюсь в различные авантюры, которые требуют внимания, времени, и умственных ресурсов. Про канал я не забыл, я много думаю, что с ним делать, как лучше траснформироваться, потому что научпоп контент по нейронкам, имхо, мертворожденная идея. Я считаю, что я могу порождать куда более интересные вещи. В скором времени я обязательно выпущу, что обещал: пост про "вайти в айти", пост про линейные атеншены. Дальше я отправлюсь в свободное плавание и буду как-то экспериментировать. От вас я хочу одно — искренность. Обратная связь важна для каждого, в том числе и для меня. А ещё приглашайте в авантюры и скидывайте тиктоки🤣

я скачал тикток..

Линейное внимание снова стало важным? → Разбираемся в новом #ReadingClub 🗓 27 апреля в 19:00 Раньше linear attention избегали, а теперь внедряют в SOTA-модели 🤨 Чтобы разобраться, как так вышло, в новом выпуске мы пройдем весь путь линейного внимания: увидим, как модели из мира физики стали применять для языкового моделирования, и проследим эволюцию в Gated DeltaNet. 🎙 Спикер: Владислав Попов — ML-инженер в Точка Банк, магистрант AI Talent Hub. 📕 Статьи на обзор: → RNN Attention → Attention is all you need → RWKV → S4 → H3 → Mamba → Mamba 2 → DeltaNet → Gated DeltaNet Точно будет о чем поговорить — приходи! 🏃‍♂️ ЗАРЕГИСТРИРОВАТЬСЯ Reading Club — ни дня без научных прорывов 😎 @aitalenthubnews #ITMO #NapoleonIT

Йоу, кто хотел послушать как и почему работает GDN в современных моделях, но не было времени или были проблемы с английским языком — газ на ридинг клаб. Попробую до каждого донести суть и ответить на все вопросы по пути.

блин девочки мне так нравится программировать гпу ... как там его .. . заниматься кёрлингом

Дорогие друзья, с радостью сообщаю вам, что я решил завершить карьеру. Доучиваю последний чекпоинт и уезжаю жить в деревню. Всем, кто был со мной на этом тернистом пути -- спасибо. Было клево ❤️

— Алло, не могу говорить, я сейчас в РФ. — Но ты же сам позвонил. — ... — Алло? Аллооооо