Machine Learning Research

Когда-то давно, во времена учебы в ШАДе, нам читали интенсив по основам архитектуры GPU и разработки на CUDA. Обещали рассказать, как устроены видеокарты и почему они эффективны для машинного обучения. Я тогда дальше model.to('cuda:0') в этом вопросе ничего не знал, поэтому с интересом записался. Лекции читали разработчики из Nvidia. Да, это было такое время, когда у компании был Московский офис и они периодически нанимали DL-инженеров, а иногда и стажеров (марафон технических раундов и глубоких вопросов на понимание, чтобы побороться за 2 стажерские позиции). Курс, по моему мнению, получился ужасным. Материал стремительно усложнялся без какой-либо оглядки на аудиторию и тот факт, что ко второй лекции половина слушателей уже отвалилась. Я потерял суть происходящего уже минуте на 20-30 первой лекции, в момент когда термины вида SM, warp schedulers, cuda cores заполняли каждый слайд, а повествование превратилось во внутренний митап для инженеров Nvidia. Худо-бедно интенсив я закрыл, решая задачи методом проб и ошибок. От курса в голове не осталось почти ничего. Разве что боязнь копаться в деталях работы с GPU. Позже, уже в 2022-2023 году, модели перестали влазить в память одной ГПУ и нужно было учиться паралелить, оценивать эффективность инфраструктуры в поисках ответа на вопрос: а почему все так медленно? are we compute bound or communication bound? Снова я столкнулся с GPU акселераторами лицом к лицу. Документации от Nvidia было не очень много, так что неподготовленному читателю входить было не просто. Но дело двигалось тем же путем проб и ошибок и общением с коллегами по работе. А хороших гайдов на понимание все еще не было. Мне кажется их и сейчас не очень много. ( Как и специалистов в этой области. Performance Engineer крайне актуальная роль в области DL на ближайшие годы) Недавно наткнулся на "книгу" от ребят из DeepMind, они проделали невероятную методологическую работу. И выпустили онлайн-учебник How to Scale Your Model. Центральный предмет книги о том, как учить трансформеры на больших кластерах, арифметику моделей (откуда набегает так много гигабайтов памяти, чтобы сделать один forward pass) и что такое TPU/GPU. К каждой главе идет еще набор квизов, чтобы посчитать что-нибудь руками. Крайне Рекомендую! https://jax-ml.github.io/scaling-book/

Очень хороший практический гайд по всем трюкам, велосипедам и костылям для построения RAG систем: https://habr.com/ru/articles/893356/ В продакшне часть из описанного можно упростить (с точки зрения реализации) подключив любимый агентский фреймворк, но суть особо не меняется

Лучшие практики и подходы для RAG (буду наполнять) Очередной раз спросили в чате канала что почитать про RAG (https://t.me/neuraldeepchat) Соберем тут все лучшее присылайте и ваши статьи и разборы Тут материалы предыдущих ответов 1) https://t.me/neuraldeepchat/3176 2) https://t.me/neuraldeepchat/2953 1) Чанкование (sliding window) можно подглядеть концепты от langchain 2) Векторные бд от pgvector до qdrant можно начать с chroma (IVF_Flat или HNSW) 3) Векторные модели для ру ai-sage/Giga-Embeddings-instruct ai-forever/FRIDA BAAI/bge-m3 intfloat/multilingual-e5-large Qwen3-Embedding-8B 4) Реранкер после чанков векторный отсортировать еще раз BAAI/bge-reranker-v2-m3 Qwen3-Reranker-8B 5) LLM (база qwen-2.5-7b-instruct) RefalMachine/RuadaptQwen2.5-14B-Instruct t-tech/T-lite-it-1.0 t-tech/T-pro-it-2.0 Agentic RAG(Qwen3-30B-A3B-Instruct-2507) РЕПО(https://github.com/vamplabAI/sgr-agent-core/tree/tool-confluence) Хорошо описанные подходы от Богдана https://t.me/bogdanisssimo/2047 Лучшее решение РАГ по документации от Ильи(@IlyaRice) которое выиграло первое место на ERC2 https://github.com/IlyaRice/RAG-Challenge-2/tree/main Пару готовых фрейворков https://github.com/langgenius/dify/ https://github.com/Marker-Inc-Korea/AutoRAG Кейс red_mad_robot по RAG (DCD) для строительной компании (t-lite) https://habr.com/ru/companies/redmadrobot/articles/892882/ #RAG #best_rag_practice Сохраняй в избранное чтобы не потерять

https://github.com/On-Point-RND/Efficient-Models-course-ITMO-2025/blob/main/README.md

Бесплатные курсы по ИИ В преддверии нашего зимнего выезда по ИИ-направлению поделимся бесплатными курсами, которые могут помочь войти в курс дела:) 1️⃣База – подойдет для тех, кто только знакомится с ИИ ➡️Основы статистики https://stepik.org/course/76/ ➡️Курс по машинному обучению. Проект «ИИ Старт» https://stepik.org/course/125587/ ➡️Курс по машинному обучению «ИИ Старт» — продвинутый уровень https://stepik.org/course/134942/ ➡️ML курс Соколова – отличный курс для того, чтобы усвоить классический ML https://github.com/esokolov/ml-course-hse ➡️Сириус. Курсы https://edu.sirius.online/ai-navigator/ 2️⃣DLS – подойдет для тех, кто уже имеет более продвинутый уровень Есть возможность выбрать курс по интересам: Classic ML, Computer Vision, Natural Language Processing, Audio https://dls.samcs.ru/ В придачу прикладываем вам ссылку на статью, где вы сможете найти 10 курсов от Google по ИИ. Но чтобы открыть её - потребуется впн. Интересно изучать ИИ и хотели бы это делать этому приобрести и практический и теоретический опыт? Приезжайте в нашу зимнюю школу на 👉ИИ-направление:)

Институт AIRI презентовал Maestro на AIJ 🔖 Maestro — фреймворк для создания интеллектуальных ИИ-агентов, которые мыслят и работают как настоящие эксперты. Он строит цепочки рассуждений на основе реальных кейсов и разбивает сложные задачи на мини-агентов, каждый из которых отвечает за свой навык. Платформа обеспечивает полный технологический стандарт: от авторизации и хранения контекста до оркестрации агентов и модерации контента с защитой от jailbreak-атак. Maestro подходит для критически важных сфер, где важна точность и безопасность. Качество подтверждено тестами и реальным внедрением в СберЗдоровье, СберМедИИ и ЦРТ Сбера. Страница фреймворка | Forbes

На этой неделе ребята из команды YandexGPT совместно c ШАДом (Школа анализа данных) провели интенсив по работе с LLM, где были затронуты вопросы обучения, инференса, и коммуникаций. Материал довольно подробный и интересный, но требует определенной базы для вхождения. В общем, рекомендую к просмотру всем интересующимся и желающим освежить знания. Лекция 1: https://youtube.com/live/JMUWSdSD1Uk Лекция 2: https://youtube.com/live/IAeAKcdMtsw Лекция 3: https://youtube.com/live/BYiFv5PoMBw Лекция 3.1: https://youtube.com/live/-52RgKQENl0 Лекция 4: https://youtube.com/live/VXI41kyQTPs Лекция 5: https://youtube.com/live/AHMJICS2JQ0 Лекция 5.1: https://www.youtube.com/live/3v43mnx31OQ

HuggingFace релизнули замечательную свежую книгу про обучение LLM 200+ страниц, 7 больших глав. Содержание примерно следующее: – Архитектуры, их особенности и оптимизация гиперпараметров – Работа с данными – Предобучение и какие в нем есть подводные камни – Пост-трейнинг: все современные подходы и как их применять – Инфраструктура, как ее правильно строить и оптимизировать По сути, это готовое хардовое пособие по тому, как с нуля обучить и захостить LLM. Написано все на довольно простом английском и читается легко + есть куча схем и примеров. В общем, выглядит годно. huggingface.co/spaces/HuggingFaceTB/smol-training-playbook

О, новый релиз от Андрея Карпаты Это один из самых безумных репозиториев, которые я когда-либо писал Сразу ссылка: github.com/karpathy/nanochat nanochat – это что-то типа продолжения легендарного nanoGPT. Но если nanoGPT – это, по сути, только предобучение, то здесь у нас полностью готовый конвейер для обучения и инференса целого мини-клона ChatGPT. В лучших традициях кода Карпаты – совсем немного строк (всего 8к) и минимальное количество зависимостей. Вы просто открываете проект на любом облачном GPU-сервере, запускаете один скрипт, и уже через 4 часа можете общаться с LLM-кой в собственном ChatGPT. В пересчете на аренду GPU это будет стоить примерно 100 долларов. Если готовы потратить больше, то можно масштабировать и получать лучшие результаты. Моя цель – собрать весь «сильный базовый» стек в один связный, минималистичный, читаемый и максимально форкаемый репозиторий. nanochat станет итоговым проектом LLM101n <мы об этом курсе писали тут>. Думаю, у него также есть потенциал стать исследовательским инструментом или бенчмарком, подобным ранее существовавшему nanoGPT. Технические детали о том, что просходит внутри проекта, можно почитать здесь. Огонь же?

Всем привет! Представляем вашему внимаю первый выпуск подкаста "Капитанский мостик", он посвящен важным новостям прошедшей недели; ведущие - Валентин Малых и Дмитрий Колодезев; видео тут: VK Video YouTube Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизируйтесь через ODS.ai)

в сообществе ODS начинается новый проект - Дата-капитаны, его делают Валентин Малых и Дмитрий Колодезев; в рамках этого проекта запланировано обсуждение свежих новостей про ИИ в режиме подкаста под условным названием "Капитанский мостик" первый подкаст будет выпущен в воскресенье, до пятницы можно присылать новости и статьи для обсуждения в канал data_captain в Mattermost (если еще не заходили, авторизуйтесь через ODS)

Вау: Google выпустили опенсорсного агента Gemini CLI для использования ИИ прямо из терминала Из командной строки можно будет пользоваться всеми возможностями Gemini 2.5 Pro: поиск в Интернете, обработка любых файлов, автоматизация рабочих процессов (типа отправки PR), написание кода и прочее и прочее. Контекст – 1 миллион токенов, так что вместится большинство даже самых больших проектов. При желании можно прикрутить любой MCP. Например, генерировать прямо из терминала картинки или видео, привязать Notion/Jira или что-то еще. Ну и самое главное – это лимиты. Абсолютно бесплатно доступно 60 запросов в минуту и 1000 в день. Приятно 🍯 github.com/google-gemini/gemini-cli

Число постов в канале упало не просто так (о, великий султан, на то была тысяча причин). И основная — нам с ребятами очень хотелось систематизировать наработки по мультиагентным системам (мы строим их уже полтора года) и поделиться этими знаниями с миром. Мы запустили курс по ИИ-агентам, не супер большой, но, надеюсь, достаточно емкий. Я расскажу (и покажу) базу — токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество. Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки. Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет -- он вас разубедит в своем классном канале) Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее. // Дима юзает qwen-agent Надеюсь, мы смогли поймать баланс между обзорным курсом на 5 живых вебинаров, базой, практикой и способностью студента на выходе не просто собрать очередной прототип, а выстроить систему, которая в каждой точке оценивается и понятно как ее развивать, масштабировать, делать точнее. Если вдруг кто захочет поучиться — есть промокод, datarascals

Обновление модели RuadaptQwen3-32B-Instruct! (v2) Текущая версия более стабильная, в частности с точки зрения циклов, некорректных символов и работы с длинными контекстами, а также подросли метрики относительно v1. Были добавлены метрики для сравнения с исходной версией Qwen3 и видно, что адаптация прошла успешно, где-то есть небольшие просадки, но в целом все на уровне. Очень жду от вас отзывов и проблемных промптов для дальнейшей прокачки моделей, ну а пока приступим к адаптации меньших версий 🚀 Модель: https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct GGUF: https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF

Нашел потрясный курс по RAG. Здесь 22 урока по имплементации различных RAG-техник: от самого базового на эмбеддингах, до RAG-а на графе и добучения с помощью Reinforcement Learning. Что самое приятное: все пишется с нуля на Python. Обычно все клепают RAG-и так: берем готовый фреймворк (LangChain и тд), смотрим туториал "how implement rag", берем готовые модули оттуда. Для быстрых прототипов это ок вариант, но так нормально не разобраться, как что работает. Только разобравшись, как это все пишется с нуля, сможете потом делать надежные LLM-системы. И на любом фреймворке. Вы как знаете, а я пошел повторять.

🤖Курс по Трансформерам и LLM - NEW EDITION Обновили материалы курса по Трансформерам и LLM. Повились новые материалы про диалоговые и мультимодальные модели, а также самые последние LLM, включая DeepSeek. @mashkka_ds #llm #трансформеры #полезныематериалы

Новая лекция от Андрея Карпаты: «Разработка в эпоху ИИ» На этой неделе в Сан-Франциско прошло крупное мероприятие AI Startup School от очень известного венчурного фонда Y Combinator. На нем со своей свежей лекцией выступил легендарный Андрей Карпаты. Запись уже можно найти здесь. Внутри: ➖Куда движется software разработка, и к чему мы придем через пару лет ➖Как выглядит вайб-кодинг здорового человека сегодня и что такое partial autonomy apps ➖Как будут работать операционные системы на основе LLM ➖В чем основные проблемы современных LLM и почему они на самом деле возникают ➖Чему обязательно нужно учиться современному программисту В общем, советуем посмотреть. Лекции Карпаты, как всегда, на высоте

Какую модель применять в NLP? Написал гайд по выбору модели, который сильно упростит вам жизнь. Не только про LLM, но и про другие модели нейронных сетей. Пользуйтесь, делитесь с друзьями, задавайте вопросы в комментариях. Все вопросы разберем.

Выложили QVikhr-3-1.7B на основе Qwen-3-1.7B, лучшая в классе и обгоняет лучшие модели. Ризонинг прямо сейчас выключен, будет позже. Но и без него модель обходит стандартную модель с включенным ризонингом. А самое главное, можно запустить на CPU и не страдать от низкой скорости TPS (Token per second). 🔗 Карточка модели: https://huggingface.co/Vikhrmodels/QVikhr-3-1.7B-Instruction-noreasoning 🔗 GGUF (скоро): https://huggingface.co/Vikhrmodels/QVikhr-3-1.7B-Instruction-noreasoning-GGUF ⚖️ Лицензия: apache-2.0 👥 Авторы: @LakoMoorDev @nlpwanderer

Стенфордский курс по внутреннему устройству LLM CS336, Language Modeling from Scratch, показывает, как сделать полноценную LLM с нуля: от сбора и очистки датасета до тренировки, профайлинга и развёртывания модели. Все конспекты, ноутбуки и код сразу публикуют в открытой репе, так что можно повторять эксперименты дома хоть на одной-двух карточках или в колабе. Курс сделан с большим упором на практику — в качестве пяти домашних заданий предлагают имплементировать сначала чистый Transformer с нуля, затем кастомный FlashAttention 2 на Triton, распределённую тренировку, разобраться со scaling laws, фильтрацей датасета и применением RL в LLM. Требования — уверенный Python и PyTorch. Лекции на ютубе Материалы к лекциям Сайт курса @ai_newz