Андрюша познает мир

Воронеж, аутсорс и стартапы, веб, конференции. Лондон, Meta, инфра, опен-сорс. Москва, Сколтех, вторая магистратура, первые публикации. Обратно в Лондон, Mistral AI и Revolut, индустриальный AI рисерч, постоянное чувство собственной тупости и предвкушение кучи приключений впереди. Впрочем, обо всем по порядку. https://habr.com/ru/articles/1068450/

Из софтварного инженера в AI рисерч: Лондон-Москва и обратно. Полтора года назад я оставил комфортную и понятную карьеру в Мете*, чтобы попробовать AI рисерч. Уехал из Лондона прожигать нажитое непосильным трудом в Москве, обучаясь в Сколтехе. С нулевым пониманием, что из этого выйдет, но отчаянным желанием попробовать. Как там писал товарищ Есенин? Пей и пой, моя подруга, на земле живут лишь раз? Вот, оно! В Сколтехе я чувствовал себя бесконечно тупым. Не просто тупым, а именно что бесконечно. Вокруг сплошные олимпиадники. Они на 10 лет моложе, а шарят в ML** и математике в 10 раз лучше (на самом деле больше, но 10 выглядит хорошо). Я же перекладывал JSONы. Да, в Мете*. Да, у меня были охренительные коллеги. Но как бы курс матана у меня был больше 10 лет назад, да и его я весь прогулял, играя рокешник по подвалам. Спустя примерно полгода мучений, исключительно благодаря помощи других студентов (Никита***, спасибо, что объяснил мне трансформер!) и научника (Алексей****, спасибо, что взял в лабу!), я начал чувствовать себя не отвратительно тупым, а уже тупым умеренно. ML начал ощущаться как сложная, но прикольная игра, а не повод повыть на луну. Наконец-то! Я скучал! Именно за этим чувством я и гнался, каким-то неведомым образом потеряв его в прошлой работе. Попотел. Родил парочку папир*****. Одну из них приняли на EACL (это такая большая уважаемая конференция). Ура! Первые звоночки, что я что-то делаю так! Но... Я скучал по прикладному применению всех этих замечательных идей. Скучал по индустриальному масштабу. Скучал по импакту. Скучал по ресурсам (где мой кластер GPU?!!!!) Офигенные коллеги - чек. Мозгодробительные рисерч пазлы - чек. Понятный прикладной импакт - как-то не очень. Далее, мне люто повезло - я залетел в Mistral AI. Довелось поработать над инфрой для генерации синтетических данных. Передовая AI лаба, куча ресурсов и амбиций, бурный рост. Но... я работал над инфрой. Офигенные коллеги - чек. Понятный прикладной импакт - чек. Мозгодробительные рисерч пазлы - как-то не очень (в моей роли). Наконец, после нескольких месяцев поисков, кажется, я нашел. Оно. Сегодня я вышел в Revolut. Наверное, один из самых техничных банков в Европе. И меня взяли в рисерч команду, которая только недавно выпустила фаундейшн модель в финансах - PRAGMA! Ееее! Я буду пилить рисерч! Прикладной рисерч! Еще и менеджер люто скилловый, но очень приятный в общении - Антон Репушко (@repushko_channel). Офигенные коллеги - чек. Понятный прикладной импакт - чек. Мозгодробительные рисерч пазлы - чек. Это она? Светлая полоса? Взлетаем? Пожелайте мне удачи! И, цитируя моих любимых Three Days Grace, "it is not too late, it is never too late". * - террористы и плохие люди ** - machine learning, машинное обучение *** - читайте Никиту, он классный - @buckwheat_thoughts **** - если вы в Сколтехе, то ломитесь в лабу к Алексею ***** - publication a.k.a paper -> папира

В этом году занимаюсь подготовкой домашек для студентов ML курса в Сколтехе. После множества пройденных (и заваленных) собеседований я, кажется, начал немножечко понимать, чего лично мне не хватало в момент обучения - глубокого понимания не очень большого…

Хотел было написать пост про то, что нынче из себя представляют собесы на research engineer, но Андрей меня опередил. И сделал это в 10 раз более детально и откровенно, чем я сам планировал. Опыт матчится на 100%. https://asmekal.github.io/blog/posts/interviews-2025-ml-research-engineer-uk P.S. Ну почти на 100%. Всё-таки у чувака куча лет опыта именно в ML, а я перекатыш xD

Ребятушки, зазываю вас вместе читать и обсуждать "The Smol Training Playbook: The Secrets to Building World-Class LLMs"! От авторов книги: What does it actually take to train a high-performance LLM today? Published research makes it look straightforward: strategic architecture choices, carefully curated datasets, and sufficient compute. The reality is messier, more iterative, and full of decisions that don’t make it into the final paper. TL;DR: обещают полный тренинг рецепт SmolLM3 от претрена до RL без купюр и замалчиваний. Расписание: каждый четверг, 14:00 (время по Лондону), первый созвон 19 марта. Чего ожидать: • Читаем главу из книги • Запрыгиваем на звонок • Смотрим презу по главе или презентуем сами • Участвуем в обсуждении • Слайды будут заливаться на Github, записи звонков на Youtube Ссылочки: • Календарь • Слайды, записи, расписание • Инвайт в чатик

В этом году занимаюсь подготовкой домашек для студентов ML курса в Сколтехе. После множества пройденных (и заваленных) собеседований я, кажется, начал немножечко понимать, чего лично мне не хватало в момент обучения - глубокого понимания не очень большого числа базовых алгоритмов. Что ж, что мне боль, то новым студентам опыт! В моем инженерном видении мира понимание невозможно без того, чтобы сделать реплику своими руками с нуля. В то же время не хотелось, чтобы обучение уперлось в страх перед чистым листом. Хотелось по шагам подвести к каждой задаче. Показать как она складывается из небольших кирпичиков. Решив с формой постановки задачи, оставалось решить как проверять и как давать ребятам фидбек. С одной стороны можно проверять правильность решения вручную, но это сильно загружает преподавательскую команду и не дает студентам возможность учиться на своих ошибках. Что есть взять за основу подход к разработке индустриального софта и обмазаться автотестами? Студенты получают какой-то стартовый шаблон и набор тестов. А дальше... Дальше они взрослые люди, которые должны научиться анализировать ошибки интерпретатора и выполнять требования посланные свыше всеми доступными способами. В результате подготовил набор задачек по классике машинного обучения с автопроверкой тестами. А это значит что любой может попробовать выполнить эти домашки и почувствовать себя совсем чууууууточку студентом Сколтеха. Первая домашка с решением (отдельно) уже на Гитхабе. Планируется еще две. Выложу как задачи, так и решения. Буду рад если попробуете решить и придете с комментариями!

Кто-нибудь хочет вместе поразбираться с тем, как нынче принято делать агентов в проде? С понедельника хочу плотненько засесть за "Agentic Design Patterns: A Hands-On Guide to Building Intelligent Systems". План-капкан: • Читаем по главе в день; • Каждый день в 15:00 по Лондону собираемся на звонок для обсуждения; • На каждый звонок будет презентация с обзором ключевых моментов главы (или каким-то доп контекстом); • Звонки записываются, чтобы можно было догнать группу, если бес попутал пропустили; • К концу феварля дочитываем всю книжку. Если план звучит как-то знакомо, то это потому что мы уже читаем по похожей схеме "The Ultra-Scale Playbook". Правда, в более расслабленном режиме с созвоноами раз в неделю. Две книги лучше чем одна, верно? Инвайт в чатик с анонсами (eng-speaking) и в дискорд (вдруг так получится привлечь больше людей за пределами русскоговорящего коммьюнити?). Анонсы буду кросс-постить и туда, и туда.

Я не умею скейлить свои ЛЛМ треньки. Совсем! Но очень хочу научиться! Леди и джентльмены, зову вас вместе почитать Ultra-scale playbook. Начнем через две недели. Будем читать небольшими частями, чтобы успешно совмещать с работой/жизнью/прочими ништяками.…

🎉🎉🎉 Та-дам! Мою первую научную работу первым автором взяли на большую конфу! Если вы не очень в теме академической жизни в ML, то я сейчас все-все-все расскажу. Дано. Андрюша. Пилил веб. Ушел в машинное обучение полтора года назад с околонулевой математикой и без знаний по ML. Поучился в Сколтехе. Присоединился к клевой лабе и опубликовал первый небольшой рисерч с полгода назад на российской конфе в составе группы. Начал лидить команду. Вместе мы родили работу, которая и стала причиной этого поста. Почему это важно. Академическая жизнь в любом домене крутится вокруг публикаций. Публикации могут быть в научных журналах или на конференциях. Точнее, технически публикация может быть где угодно (хоть в вашем личном бложеке), но всем будет на нее пофиг (если вы не команда DeepSeek xD). У конференций и журналов есть ранжирование по научному импакту. Публикация в Nature != публикация в "Вестник котовой коллегии Простоквашино". Так сложилось, что в ML сообществе чаще публикуются на конференциях. Возможно, потому что их часто проводят в красивых местах, и ученые так на халяву ездят погреться на солнышке или пропитаться культурной жизнью млщики очень экстравертные и любят общаться с коллегами. Так, вот, мою работу как раз и приняли на хорошую конфу, которая достаточно высоко котируется! Ура! Что дальше. Дальше у меня собесы на рисерч инженера в несколько оооочень интересных мест. Обновление курса по машинному обучению в Сколтехе. И, надеюсь, новые публикации. И многострадальный большой пост по перкатыванию в МЛ. P.S. Дедушка Мороз застрял в вечно ломающихся британских поездах и привез подарок чуть позже. Что ж, главное, что привез!

Про умножение матриц или как курс по вычислительной линейной алгебре проигрывает жестокой реальности Мы умеем умножать матрицы быстрее, чем за O(N^3)! По крайней мере, так рассказывают на курсе по алгоритмам. Потом теория сталкивается с "железом", и выясняется, что в DL этим почти никто не пользуется. Но почему? Для начала вспомним базовые факты про умножение матриц: - У нас есть матрицы A (b * d) и B (d * k); - При их умножении нам нужно сделать одно сложение и одно умножение для каждого элемента в паре "строка–столбец"; - Получается b * d * k таких троек для каждой операции; - Итого 2 * b * d * k троек; Для квадратных матриц это упрощается до 2 * n^3, то есть O(n^3). Умный дядька Штрассен когда-то предложил алгоритм, который уменьшает число умножений за счёт рекурсивного разбиения матриц. В сухом остатке теоретическая сложность падает примерно до O(N^2.7). Сегодня я смотрел лекции "LLM from Scratch" и заметил, что они считают FLOPs что называется "в лоб" - будто в PyTorch используется наивное умножение матриц (скрин из лекции выше). Сначала подумал, что это просто упрощение, чтобы не уходить в численные методы линейной алгебры, но решил копнуть глубже. Выяснилось, что в DL практически никто не использует алгоритм Штрассена (и его современные, ещё более эффективные аналоги)! Во-первых, он менее численно устойчив из-за сложений и вычитаний промежуточных подматриц. Во-вторых, он плохо стыкуется со специализированными тензорными ядрами, которые выполняют операции Matrix Multiply-Accumulate (MMA, `D = A * B + C`) на маленьких матрицах фиксированного размера. В-третьих, из-за рекурсивной структуры он сильно менее эффективен с точки зрения работы с памятью и кэшем. Реальность vs теория — 1:0

Я все никак не разрожусь большим постом-постмортемом о переходе из софтварного инженера в AI рисерч. Он правда-правда есть в черновиках! Тем не менее ему все еще надо помариноваться и пропитаться моими горькими слезами исследовательским духом. Сегодня же принес анонс топовой возможности получить PhD в AI - новая итерация совместной программы между Оксфордом и Мета*. Крутейший проф Jakob Foerster набирает к себе падаванов. Надо будет пилить фундаментальный рисерч в области AI research agents. 50% - тусите в Оксфорде, 50% - в Лондоне в офисе Мета. Это чуть ли не единственная возможность получать нормальные деньги во время PhD в UK! Честно! Я проверял! Дедлайн подачи: 1 декбаря. Да прибудет с вами Тьюринг! * - экстремисты и плохие люди

Одна голова хорошо, но сто лучше, верно? А что если часть этих голов будут ИИ? @ctrain2042 ищет Python-разраба пилить мульти-агентные системы, где целью стоит синегрия человека и машины! > И это даже не реклама, т.к. @ctrain2042 я знаю лично! Более того, ребята не просто пытаются пихать агентов везде где только можно и нельзя, а следуют формальной методологии - системно-мыследеятельностному подходу (СМД). Мышление не рассматривается как индивидуальное психическое свойство, а как особый тип деятельности, возникающий в определённых организационно-деятельностных условиях. Что надо будет делать: - Проектировать и развивать сервисы с использованием LLM и RAG, мультиагентных систем. - Интегрировать внешние/локальные модели, оптимизировать качество и стоимость. - Строить пайплайны подготовки данных и ретрива (векторные БД, эмбеддинги, реранкинг). - Проектировать API, наблюдаемость и деплой в контейнерах. Чего хочется: - Уверенный Python 3.12+ и асинхронность (asyncio), умение писать чистый, типизированный код. - Опыт FastAPI/pydantic, проектирование API (OpenAPI), базовые знания безопасности. - Понимание работы LLM: промпт‑дизайн, токенизация, ограничения, потоковые ответы; опыт с провайдерами/локальными моделями (например, vLLM). - Опыт с фреймворками/SDK для LLM: LangChain/LlamaIndex; OpenAI/Anthropic/Google SDK; локальный инференс — vLLM, Hugging Face T ransformers, Ollama/llama.cpp. - Базовые знания RAG: эмбеддинги, векторные БД (Qdrant/pgvector), настройка ретривера; понимание реранкинга. - Архитектурные принципы и паттерны: SOLID, KISS, DRY, YAGNI, паттерны «банды четырёх» (GoF) и прочие — применять осознанно и по потребности. Опционально, но будут очень рады: - Опыт с очередями (Redis/RabbitMQ), PostgreSQL и Alembic. - Whisper/аудио и парсинг документов (PDF/HTML/DOCX/EPUB/MHTML). - Kubernetes/Helm, CI/CD, секрет‑хранилища (Vault/SM), ansible Локация: Москва Вилка: 250-350к

Я не умею скейлить свои ЛЛМ треньки. Совсем! Но очень хочу научиться! Леди и джентльмены, зову вас вместе почитать Ultra-scale playbook. Начнем через две недели. Будем читать небольшими частями, чтобы успешно совмещать с работой/жизнью/прочими ништяками. Мануал: - Добавляемся в чатик. Язык общения - английский, но если все будут рускоговорящие, то пивотнемся. - Читаем главу по расписанию. - Подключаемся к созвонам по четвергам в 14:00 (Лондонское время) - календарик. Будут слайды! - Участвуем в беседе и, авось, учимся чему-то полезному. - Пингуем в чатике, если хотите презентовать одну из глав (позязя!) - Слайды потом зальем на Github Первый звонок: 30 октября (четверг), 14:00 (по Лондону) Ссылочки: - Расписание - Календарь со звонками - Репка на GH - Чатик

Та-дам! Падаван выбран! Алексей начинает работу с этой недели. Целью поставили получить работу в качестве бекэнд питониста в команде, где можно будет учиться и расти. Пожелаем ему удачи и будем следить за успехами! Дневник Алексея тут @balbesov77 P.S. Благодаря…

Баблишко на айтишку: Эпизод II — Атака клонов Алярма! Тут раздают баблишко тем, кто вкатывается в айтишечку! Баблишко, может, и не самое большое, но от чистого сердца :) TL;DR: Замутил частную микростипендию для перекатывальщиков. Снова. 40к/месяц в течение…

Yet another book club in tech Ленка, @lenka_ne_work, упоротая (в хорошем смысле!) гуру системного проганья, запускает новый поток совместного чтения легендарной Designing Data-Intensive Applications! Да-да, той самой книги с кабанчиком. Я ее три раза начинал читать и бросал по тем или иным причинам. Что ж, с четвертого раза должно прокатить, правда? Хотя бы потому что я подписался этот поток желающих просветиться курировать xD Звонки каждый четверг вечером с середины августа. Подключайтесь! Тут рады всем! @lenka_ne_club -> DDIA-4

Баблишко на айтишку: Эпизод II — Атака клонов Алярма! Тут раздают баблишко тем, кто вкатывается в айтишечку! Баблишко, может, и не самое большое, но от чистого сердца :) TL;DR: Замутил частную микростипендию для перекатывальщиков. Снова. 40к/месяц в течение 6 месяцев. Без ограничений по текущей сфере деятельности, возрасту и прочей фигне. P.S. Буду рад если поделитесь этим постом с теми, кому может быть полезно. P.P.S. Присоединяйтесь к движняку! https://vas3k.club/post/28980/ https://habr.com/ru/articles/927186/