Computer Vision News

🛎 Через час начинаем ML Global Recap Вместе подведём ключевые итоги ICML и других международных конференций, поделимся своими инсайтами и выводами. Разложим по полочкам, что произошло в ML-индустрии за первое полугодие 2026 года. В программе — доклады руководителей разных команд Яндекса: ⚪️ Артём Бабенко, руководитель Yandex Research, расскажет о развитии Tabular DL ⚪️ Дмитрий Мокеев, руководитель группы качества претрейна Alice AI в Яндекс Поиске, разберёт тренды и вызовы в ризонинге ⚪️ Иван Дёгтев, руководитель аналитики Alice AI LLM в Яндекс R&D, поделится новыми подходами и стандартами в оценке качества моделей ⚪️ Андрей Бежин, руководитель службы ML-инфраструктуры в Яндекс R&D, расскажет об оптимизации LLM-инференса 💻 Подключайтесь к онлайн-трансляции: 🔛 Яндекс Плеер 🔛 Ютуб 🛄 Ждём вас! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

📄 Блогпост 🌵 Стартап Cactus Compute выпустил крохотную модель Needle 2 с весом чекпоинта всего 14 Mb для tool calling и работы со структурированными входа для edge устройств. Исходная модель имеет 45M параметров, поверх нее применяется CQ-2bit квантизация (некая проприетарная техника). Квантизация получается в процессе обучения (Quantization Aware Training). ⚡ Скорость На префилле скорость 800+ tok/s, и 500+ tok/s на декоде на Raspberry Pi 5. Еще оно якобы быстро генерит на VR устройствах и Samsung-ах. 🏗️ Архитектура Архитектура основана на ихней же работе Simple Attention Network. Там немало архитектурных прибамбасов: • mHC • Engram • Hadamard MLP. Дабы сэкономить на параметры, параметризуют веса как произведение диагональной на Адамарову матрицу. • GQA + Sliding Attention + синки для тулов Needle 2 производит меньше операций на токен против традиционной трансформерной архитектуры. 📚 Обучение На обучение потратили 115B токенов из проприетарных токенов и 38B на посттрейн, что на порядки меньше, чем у LFM. 📊 Бенчмарки Модель оценивают на бенчмарках: • Mobile Actions • Droid Call • Seal-Tools • BFCL v4 🎯 Оно выходит по качеству близко к Function Gemma 270M, LFM 2.5 230M, Apple FM, будучи при этом гораздо меньше.

Курс по Visual GenAI от Yandex Research и ШАД Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы. Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области. Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже: • в теории диффузионных моделей, эффективных методах их обучения и семплирования; • в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D. У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания. CV Time

📚 Презентация про квантизацию с моего выступления на нашей Hardware Efficiency Reading Group, где мы обсуждаем статьи, идеи и практические аспекты эффективного глубокого обучения. 🎥 Записи и 📋 программу прошлых семинаров можно найти здесь. 🗓️ Семинар проходит (почти) каждый понедельник с 13:00 до 14:00. 📢 Группа с анонсами и материалами — тут. Будем рады всем, кто интересуется эффективным глубоким обучением, GPU, CUDA, оптимизацией и современными ML-системами! 🚀

Открытый вебинар «Агенты без магии» от основателя girafe-ai, к.ф.-м.н., преподавателя ведущих российских вузов Радослава Нейчева. На вебинаре разберём: • как правильно ставить задачи агенту • что такое скиллы, MCP и зачем они нужны • в чем разница с пайплайнами, и почему для повторяемых задач они лучше подходят (например, n8n) ⬇️ Подробности и регистрация ⬇️ Приглашаем к участию.

На каггле захостили новую RSNA Knee Abnormality Detection: https://www.kaggle.com/competitions/rsna-knee-abnormality-detection Традиционно челлендж посвящен МРТ данным в 2.5D формате. Т.е. есть много двумерных снимков одного и того же объекта по 'срезам' разной глубины. На этот раз надо обнаруживать 12 видов остеопорза в коленках пациентов. 570 ГБ снимков в высоком разрешении, самое время нафармить золото за счет ваших бесконечных ресурсов (ну и помахаться с NVIDIA заодно). Главное, чтобы инференс влез в 9 часов на кагл гпу. Соревнование проходит уже 8 лет подряд, так что массив опыта в нем накоплен титанический. Возможно, и мне пора вкатиться и поучаствовать, но в прошлые годы, признаюсь, меня просто пугал объем хаков, в которые надо вкатиться. Шанс для всех тридцатилетних понять чуть больше о том, почему болят колени

Трансляции лекций «Лето с AIRI 2026» Наша летняя школа по искусственному интеллекту близится к завершению. Делимся записями трансляций потоковых лекций⤵️ ⏯«Тренды в развитии ИИ и исследования AIRI» Иван Оселедец, д.ф.-м.н., профессор РАН, генеральный директор Института AIRI, декан факультета искусственного интеллекта МГУ ⏯«Обучаемая манипуляция объектами: от RL к VLA моделям» Александр Панов, д.ф.-м.н., профессор РАН, директор лаборатории «Когнитивные системы ИИ» Института AIRI, директор Центра когнитивного моделирования МФТИ ⏯«На пути к сильному ИИ в медицине» Дмитрий Дылов, PhD, директор лаборатории «Сильный ИИ в медицине» Института AIRI ⏯«Стратегия и подходы применения генеративного ИИ в кибербезопасности» Антон Митрофанов, исполнительный директор, Управление экспертизы кибербезопасности Сбера ⏯«От весов до прода: как ломают и защищают ИИ-системы» Олег Рогов, к.ф.-м.н., руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, руководитель лаборатории безопасного ИИ AIRI-МТУСИ ⏯«Vision? Language? Action? Models» Владислав Куренков, руководитель группы «Адаптивные агенты» Института AIRI ⏯«Интерпретируемый ИИ в анализе многоканальных электрофизиологических данных» Алексей Осадчий, д.к.н., руководитель группы «Нейроинтерфейсы» Института AIRI, директор Центра биоэлектрических интерфейсов НИУ ВШЭ ⏯«От промпта к цифровому сотруднику» Ярослав Беспалов, руководитель группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине» Института AIRI ⏯«На пути к L5 автономии в транспорте. Актуальные задачи современных систем» Дмитрий Сенюшкин, к.к.н., руководитель группы «Автономное зрение» Института AIRI ⏯«От машинного обучения к ИИ материаловедению» Роман Еремин, к.ф.-м.н., руководитель группы «Дизайн новых материалов» Института AIRI ⏯«Может ли ИИ заменить учёных?» Автономные агенты и будущее науки» Пётр Анохин, к.б.н., руководитель группы «Нейрокогнитивные архитектуры» Института AIRI ⏯«Ура, Уроборос! От понимания BIM к самоэволюции и градостроительству» Артём Просветов, исполнительный директор по исследованию данных, Сбер ⏯«Знает ли модель, что она не знает? Введение в оценивание неопределённости в LLM и VLM» Елизавета Гончарова, к.к.н., руководитель группы «Мультимодальный ИИ» лаборатории FusionBrain Института AIRI ⏯«Всем пятёрки, или как оценивать AI-исследователей — парадоксы, ловушки, качество и новизна» Анастасия Волкова, руководитель направления по исследованию данных Центра исследований генеративного ИИ Sber AI ⏯«Как не потерять права на свои разработки» Вита Власова, руководитель направления партнёрского сопровождения и интеллектуальной собственности Института AIRI ⏯«Faithfulness в языковых моделях» Глеб Ершов, Data Science-инженер Авито ⏯«Как ИИ помогает взламывать код жизни» Алёна Аспидова, инженер-исследователь группы геномики Центра ИИ-разработки новых лекарственных препаратов AIDD Института AIRI ⏯«Эффективный ИИ: главные оптимизации последних лет и почему они сработали» Данил Сивцов, инженер-исследователь группы «Вычислительный интеллект» Института AIRI ⏯«Терминальные агенты в задачах автоматизации доменных исследований» Даниил Сухоруков, научный сотрудник группы «ИИ в промышленности» Института AIRI ⏯«Современные методы квантования моделей» Начын-Энхэдоржу Ооржак, специалист по исследованию данных, Блок «Риски», Сбер Записями всех лекций и семинаров мы поделимся после завершения Школы✔️

Отдельно хочу всех школьников/студентов исключить из конкуренции на kaggle убедить влететь в другое соревнование трека NeurIPS: Fusion equilibrioum challenge (возможно нужен vpn для ссылки) Датасет — 98 ГБ и 9 121 плазменный импульс с двух токамаков: DIII-D и MAST. На вход модели идут временные ряды токов в электромагнитах и плазме, а также лазерные измерения температуры и плотности электронов. По сути, это многомерная регрессия: нужно восстановить карту магнитного потока размером 65×65 и предсказать ещё два параметра плазмы — q95 и βN. Первое надо, чтобы плазма на вырвалась наружу. Обычно конечно считают q99.9999, но видимо тут организаторы на чилле и решили меньше упора делать на предельную статистику. Второе- соотношение затрат энергии на удержание плазмы к ее энергии. Токомаки это круто, потому что: Именно для их создания Отто Актавиус вживил себе AGI-клешни. Токомакам не нужен уран, они работают на изтопах воды. Дейтейрия с тритием нам хватит буквально на миллионы лет при текущем потреблении энергии и на тысячи- если все же построим AGI. Токомаки не могу бабахнуть, потому что установка сама гаснет при поломке и реакция прекращается. Токомаки вообще не выделяют CO2. Вот бы их можно было использовать в умных домах. Основная проблема- это уметь удерживать плазму с температурой 100 млн градусов цельсия внутри. В первом треке модель обучается и тестируется на DIII-D — надо как можно точнее восстановить скрытую магнитную геометрию плазмы на уже знакомом токамаке. Во втором нужно обучиться на DIII-D и перенести модель на токамак MAST (другая конструкция) — пытаемся учить физику, а не оверфититься под аппарат. Участвовать можно как одному, так и командой Вообще не намекаю на команду едущую на межнар и их сбор в одного огромного паверрейнджера Почему иммено студенты/школьники: 0. Организаторы сделали специальный тулкит, чтобы было легче вкатиться: визуализаторы, верхнеуровневый гайд по тому, что происходит и выдали бейзлайн. 1. Низкая конкуренция: у соревы кастом платформа + низкие призы (по $500 за каждый трек), а значит знаменитые NVIDIA-фармеры с бесконечным железом не придут всех унижать. 2. Дают билеты на NeurIPS топу треков (тут без подробностей про число) + можно выступить с Oral Presentation (есть онлайн опция, если не дали визу). Такое точно можно себе в резюме вписать в достижения 3. Организаторы это профы из Texas Austin, топ 25 CS-ranking мира. Это ваши потенциальные научные руководители и реферы при поступлении в магистратуру/PhD и даже бакалавриат. У одного только ведущего автора 16411 цитирований и хирш 70! 4. Эти самые организаторы берут вас соавтором в публикацию, которая 99.99% попадет в A* конфу + у вас будет реальный опыт колаборации с ними -> можно попросить рефер не на пустом месте + можно и на берегу разойтись, если работа с ними вам не нравится. При этом в соавторы зовут топ-3 каждого трека + 4 человек на выбор оргов 5. Орги дают халявный компьют, так что можно быть бедным. Соревнование пока не стартовало на кодбенч, но уже можно потрогать данные и бейзлайн Короче я обижусь, если вы этот пост не перешлете в чат своей группы в универе

Clean Plate IC-LoRA для LTX-2.3 Редко выходят модели для серьезного прода и постобработки. И вот Lightricks выкатили ин-контекст модель Clean Plate для своей 22B видеомодели LTX-2.3. Нейросеть удаляет из видео людей, пешеходов и транспорт, автоматически восстанавливая чистый задний план за ними. Все работает в режиме video-to-video LoRA и интегрируется в стандартные воркфлоу ComfyUI. Не хватает только готового плагина для Premier или DaVinci. Веса @ai_newz

🌟 SenseNova-Vision: CV-комбайн в едином генеративном интерфейсе SenseTime открыла веса единой модели зрения SenseNova-Vision. Обычно под каждую задачу (найти объекты, выделить их контуры, оценить глубину сцены) строят отдельную систему или встраивают в модель специальный модуль. Здесь от этого отказались - все задачи модель решает как генерацию текста, картинки или их смеси. Компания основана в 2014 году и выросла из университетской лаборатории MMLab - оттуда вышла заметная часть китайских специалистов по компьютерному зрению. Известность пришла в 2015-м, когда алгоритм распознавания лиц SenseTime обошёл по точности человеческий глаз. В 2026 году Gartner назвала компанию визионером в генеративном CV. 🟡Механика Рамки объектов и распознанный текст модель выдаёт текстом с координатами, карты глубины и нормалей поверхностей - картинками, а сложную сегментацию - смешанным ответом, где текстовая легенда задаёт цвета маски. Авторы сравнивают подход с тем, что GPT сделал для текста: вместо зоопарка специализированных систем - один генеративный интерфейс. Под капотом - открытая мультимодальная модель Bagel-7B-MoT от ByteDance, дообученная без изменений архитектуры. MoT - это смесь трансформеров. Внутри модели живут 2 эксперта с собственными весами - один отвечает за понимание текста и изображений, второй за генерацию картинок, а внимание у них общее, так что оба смотрят на один контекст. Токены распределяются между экспертами жёстко, по типу данных, а не обучаемым маршрутизатором, как в MoE. Для SenseNova-Vision такое устройство пришлось кстати - модель чередует текстовые ответы вроде координат и картиночные вроде масок, и у каждой ветки свой набор весов. 🟡Тесты SenseNova-Vision лидирует среди сопоставимых систем там, где ответ - структурированный текст (детекция, в том числе в плотных сценах с десятками объектов, локализация текста на изображении, ключевые точки). В оценке глубины и нормалей она близка к лучшим генеративным методам, в сегментации держится на уровне конкурентов. Слабые места тоже есть. В многовидовой 3D-геометрии модель отстаёт от специализированных VGGT и Depth Anything 3, а текст на русском распознаёт заметно хуже, чем на английском. Вместе с моделью опубликован корпус SN-VC-50M - 50 млн обучающих примеров из открытых наборов: 18,9 млн кадров для структурного понимания, 17,3 млн для плотной геометрии, 12,5 млн для многовидовой геометрии и 1,3 млн для сегментации. 📌Лицензирование: CC-BY-NC-4.0 🟡Модель 🟡Arxiv 🟡Датасет 🟡Демо 🖥GitHub @ai_machinelearning_big_data #AI #ML #СV #MoT #SenseNovaVision #SenseTime

Превращаем ЛЮБОЙ репозитарий на GitHub в гайд — вышла тулза, которая в разы упростит изучение программирования. Нейронки под капотом проанализируют весь код, поймут как он работает и создадут для вас понятный учебник с графиками и табличками. Это бесплатно, забираем.

🚀 Как обучить модель на тысяче GPU? Обыкновенно в курсах по машинному обучению рассматриваются модели, для обучения которых требуются ресурсы одного сервера (1 или несколько графических карт). Но современные LLM, foundational модели требуют коллосальное количество вычислений на огромных кластерах. По словам Ильи Суцкевера совсем недавно закончилась “эпоха масштабирования”, ознаменовавшаяся экспоненциальным ростом числа параметров моделей. В этот период были разработаны ключевые концепции для масштабирования вычислений на GPU, которые мы рассмотрим на грядущем вебинаре “Параллелизация обучения модели на сотни GPU”. Интересно, что на сегодняшний день данные методы применяются не только для обучения, но и для применения больших моделей. 🎙 Спикер: Владислав Гончаренко – автор курса MLOps программы MSAI и основатель girafe-ai 📅 Когда: 20 июля (понедельник) 🕖 Время: 19:00 (МСК) На вебинаре обсудим: • три базовых способа масштабирования • соединим их в 3D scaling для получения максимальных возможностей • в каких системах они реализованы • как вы можете использовать их сегодня • спикер ответит на вопросы участников Вебинар будет полезен ML-инженерам, исследователям, студентам и всем, кто хочет глубже разобраться в инфраструктуре обучения современных AI-моделей. 👉 Вебинар бесплатный, необходима предварительная регистрация

👨‍🎓E-CUP 2026: Students — регистрация открыта В этом сезоне соревнование только для студентов. Если вы изучаете ML / DS / big data / аналитику данных — это ваш шанс попробовать себя в решении продуктовых задач бигтеха. На выбор 3 задачи: • Создать модель поиска дубликатов товаров. • Разработать классификатор для модерации товаров. • Предсказать поведение покупателя на маркетплейсе. Что получите: • Фидбэк от инженеров Ozon Tech, которые работают с такими задачами ежедневно. • Возможность разделить призовой фонд 7 200 000 ₽. • Нетворк с ведущими специалистами индустрии. • Кастомный мерч и усиление портфолио. • Билеты на IT-конференцию E-CODE 2026, где пройдёт награждение победителей. 👉Регистрация и детали.

У Claude нашли точку J — исследователи Anthropic обнаружили внутри ИИ скрытое пространство J-space, в котором хранятся его мысли. При этом разработчики его не создавали — оно появилось само. Механизм его работы похож на кратковременную память у людей: небольшой внутренний набор нейронных активаций, который используется как рабочая память для сложного мышления. — Если спросить Claude, о чем он думает, то содержимое J-space совпадает с ответом модели; — При этом содержимое памяти можно менять: например, если попросить модель думать о слонах, то факты о слонах заполнят кратковременную память; — Также J-space используется для решения сложных задач: именно тут Claude выполняет промежуточные шаги, даже если они не появляются в итоговом ответе; — Если эту память отключить, модель моментально тупеет и теряет возможность решать сложные задачи; — В одном из тестов Claude догадался, что его проверяют, и поэтому вёл себя осторожно. Это же отразилось на кратковременной памяти; — Самое главное: J-space можно читать и менять, чтобы контролировать работу ИИ. @exploitex

💫 Успей зарегистрироваться на Норникель AI Science Hack с призовым фондом 1,5 млн ₽ Норникель AI Science Hack — онлайн-хакатон для тех, кто хочет применять искусственный интеллект в материаловедении и решать реальные исследовательские задачи 🔵 3–5 июля 🔵 Онлайн 🔵 3 трека на выбор 🔵 Призовой фонд — 1 500 000 ₽ 🔵 Поддержка экспертов 🔵 Карьерные возможности 🔵 Шанс выиграть поездку на один из производственных объектов Норникеля Выбери один из 3 треков хакатона: ➡️ Фабрика гипотез Запускай ИИ-конвейер идей для новых исследований, экспериментов и неожиданных научных находок ➡️ Научный клубок Распутай и найди связи в специализированной литературе и других научных данных ➡️ Скажи мне, кто твой шлиф Научи ИИ читать характер руды по ее полированному шлифу и микроструктуре Прими участие в составе команды от 2 до 5 человек. Если команды пока нет — мы поможем её найти. 🔗 Успей подать заявку до 30 июня, 23:59 МСК по ссылке.