Sailaukan's blog

мечтал полететь в Сан-Франциско

Diffusion language models (DLM) становятся популярнее Количество пейперов на эту тему растет, а гигачады в диффузионных моделях как Volodymyr Kuleshov, Aditya Grover и Stefano Ermon объединяются, рейзят деньги и создают свои модели с 1к+ токенов генерации в секунду и достаточно неплохим качеством ответов. Простыми словами: DLM используют принцип, похожий на генерацию картинок. У вас есть конкретное количество маскированных или просто шумных токенов, и модель пытается угадать, какие токены из словаря должны стоять вместо них на самом деле. Это позволяет нам генерировать несколько токенов одновременно, теряя немного в качестве, но зато очень быстро, и показывать классные результаты в задачах, где нужно условно угадать, какое слово должно стоять между двумя другими. Ведь в DLM используется bidirectional attention, то есть начало и конец контекста как бы «одинаково важны». Недавно DeepMind также выпустили Gemma Diffusion, которая показывает очень неплохие результаты на разных бенчмарках, будучи при этом в 4 раза быстрее Gemma 4. Я ставлю сейчас ставку на то, что из-за роста цен на железо, нехватки данных, и других замедляющих факторов, фронтир-лабы начнут активно развивать свои языковые диффузионные модели, и они начнут активно использоваться наряду с обычными авторегрессионными для таких задач, как сжатие контекста или планирование задач у агентов. И тренд пойдет уже с 2027 года Очень интересное направление для ресерча, если кто-то думает чем заняться. Пока не пришел ASI, будет чем занять мозги

Поездка в Грузию Около 20 дней с друзьями провели в Тбилиси. Большую часть времени просто работали в коворкинге, но старались иногда выходить гулять. Спасибо нашему местному другу за экскурсии Страна с очень богатой и интересной историей. Просто шикарная национальная кухня. Нереально красивая природа. Каждая вторая машина - электрическая. Атмосферные улицы. Рекомендую👍 В комментах оставлю небольшой гайд для тех кто решит поехать. Готовил изначально для сестры

Дает вспомнить насколько моя жизнь на самом деле насыщенная. Каждый стикер - это какое-то событие

Уже во все свои соцсети это выложил, но выложу еще 🦌 Вчера участвовали на хакатоне от одного венчурного фонда и где-то 5 разных YC фаундеров. Урвали 1 место, 5 тысяч долларов, консультацию с General Partner at YC, Jon Xu, и один фаундер предложил податься к нему работать 🤓 Создали прикольную систему ЭЭГ-мониторинга фокуса рабочих. На примере стройки еще реализовал shadow tracing чтобы считать сколько работник находился под солнцем по его геолокации (проблемно для ОАЭ). На основе еще кучи данных (сколько людей рядом, насколько тяжелые задачи и т.д.) в конце система динамически адаптирует план работ под состояние людей Хакатон проходил на трассе F1 ...

1 февраля мне исполнилось 20. This number sounds too serious… Вечером того же дня мне написал CEO стартапа из Дубая, с которым мы общались ранее, и предложил созвониться. В итоге я получил оффер на 3 месячную стажировку на позицию с красивым названием AI Engineer. Вчера в проект уже добавили мои первые изменения Очень много data science оказалось и чувствую себя тупым, но мне нравится 🌱

Один агент скачивает и конвертирует датасеты для бенчмарка, второй пишет для них readme файлы, третий пишет для них скрипты, а четвертый, пятый и шестой работают над мелкими задачами, которые я откладывал До основного кода моего ресерча я этот рой пока не допускаю и стараюсь быть аккуратным, но будущее уже наступило…