tgindex

ML for Value / Ваня Максимов

описание

Путь от ML-модели до Value для компании | RecSys, Search, LLM, Pricing и CLTV Ваня Максимов, @Ivan_maksimov Head of AI | Recsys, search, llm @Y.Market, ex-WB, ex-Delivery Club Консультирую компании, Веду курсы Публикую релевантную рекламу

← к каналу@ml4value
5 717
подписчиков
Охват к подписчикам
55,6%
ERR
Реакции к просмотрам
0,76%
1 177 на 37 постов
Пересылки к просмотрам
1,21%
1 868
Постов в день
0,0
всего 38

Где отзываются чаще

доля реакций к просмотрам
  • 2 маяНачинать писать после перерыва всегда непросто, поэтому пока легкий пост про мои новости) Официально стал частью Transactional AI в Яндексе 🤖 Помимо персонализации всего в Я.Маркете буду делать ИИ-агентов для покупок товаров Съездил на теннисный турнир Barcelona Open 🎾 Мой первый турнир в качестве зрителя - это конечно топ! В полуфинале Рублев был крут, но и восходящие звезды Фис и Ходар впечатлили. Теперь еще больше мотивации все же сыграть и самому pro турнир уровня сильно пониже: ATP 15/25 Отметил 4ую годовщину с моей женой ❤️ Лучшее решение, всем советую) Бодро иду к своим 30 годам: записался на все чекапы и операции на год вперед 🔴 Собираю базу данных анализов для терапевта gpt :) Возобновил регулярный спорт: бег, качалка, теннис и улучшил питание Вот такие новости: а дальше пойдут посты про фейлы в ml — stay tuned, будет интересно!2,93%
  • 12 июн.The art of a strong baseline За последнее время все чаще понимаю, что создать сильный бейзлайн - это не просто база, с которой нужно начинать любой ml/ai продукт, а прям полноценная часть системы. Даже когда в проде уже давно есть трансформеры и агенты, бейзлайн дает прям много метрик Вот учите вы трансформер для персональных рекомендаций (sasrec, argus, pinnerformer, hstu - неважно). И если в лоб его применить, то вероятно получите рекомендации из истории кликов. Потому что простой бейзлайн "уже изучал товар - покажи еще раз" чаще всего почти по любым метрикам релевантности будет лучше Окей, пофильтровали историю кликов / занизили таким позитивам вес в лоссе / сделали еще что-то - получили очень-очень похожие товары на последние 30-50 действий. Вот буквально товар того же бренда-категории, но чуть другого цвета условно. А это уже похоже на другой сильный бейзлайн - realtime slim/als/ease на последних 30-50 действиях На самом деле можно еще и дальше продолжать с бейзлайнами в этом кейсе или в других. Частые бейзлайны: - Персональные рекомендации - популярное, история, уже купленное для повторных покупок - item2item рекомендациях (похожие товары) - популярные товары того же бренда в той же категории - Поиск - tfidf/bm25. Да, даже в эру dense retrieval и search agents если аккурфтно подтюнить bm25, то можно выбить sota. Есть даже подходы на основе Sparse autoencoderse , которые позволяют генерить не эмбеды запросов/документов, а их токены - и дальше применять обычный bm25 - Прогноз временных рядов - среднее значение в тот же день недели ↔️ Я всегда стараюсь строить сильные бейзлайны, а потом учить более сильные модели для улучшения поверх них, а не для замены. Потому что какой толк учить условный sasrec/argus для запоминания истории кликов пользователя? Пустая трата компьюта + модель тратит свою капасити на тривиальные зависимости = что-то нетривиальное (и самое полезное + ожидаемое от нее) не учит Интересно, как не только я сам, но и другие люди в в индустрии / рисерче к этому подходят: я видел очень мало подобных работ. Если есть личные опыт или ссылки на полезные статьи - кидайте, с интересом почитаю!)2,14%
  • 25 февр. 2025 г.Корреляция и оценка фичей до разработки В продолжение вчерашнего поста. Регулярно слышу аргумент в пользу развития продуктовой фичи такого формата: «Конверсия в срезе пользователей фичи (рассрочка, фильтры на поиске, ..) выше среднего по сервису. Поэтому давайте фичу развивать и вовлекать в нее больше пользователей - это увеличит общую конверсию» Конверсия в срезе пользователей выше означает вообще ничего!) В этом срезе просто могут быть более горячие юзеры. И если мы заставим других пользоваться фичей, то «горячее» они не станут и конверсия не вырастет (как раз корреляция != причинно следственная связь) Скажу больше, иногда выгодно растить фичи с меньшей конверсией, чем в среднем. Например, фичи для новичков Для иллюстрации, пару абсурдных примеров: - Те, кто пользуются рассрочкой, тратят больше (для ее использования нужно оплатить покупку + рассрочку берут на дорогие товары 😅) - Те, кто проходят онбординг новичка, покупают реже (новички в целом покупают реже) - Те, кто чаще сталкиваются и жалуются на баги, имеют конверсию выше (ну они хотя б начали пользоваться приложением!) В общем, не используйте «в срезе пользователей фичи конверсия выше» как финальный аргумент для завлечения новых юзеров в фичу:) Можно хотя бы сравниваться не с средним по больнице, а с тем же сегментом юзеров по активности и чеку: тоже не очень честно, но хотя бы что-то P.S. Вы это.. не забывайте ставить лайки за полезный контент:) 👍 #metrics@ml4value1,56%
  • 18 февр. 2025 г.без подписи1,46%
  • 10 нояб.➡️ Навигация по каналу v3 На связи Ваня Максимов @Ivan_maksimov - AI & Analytics Head в Яндекс.Маркете, 10+ лет в DS Сложилось сразу 2 фактора: канал дорос до 5.5К подписчиков и наступило аж 400 дней на новом месте работы -- пора сделать апдейт про канал и меня Чем я занимаюсь? Магия дискавери: помогаю найти неочевидные и полезные товары в Я.Маркете. На фотках к посту 3 неочевидных товара, которые я нашел в своих же рекомендациях Кстати, "магия дискавери" - реальное название одной команды в я.картах! Поформальнее, руковожу командами AI для персонализации и продуктовыми аналитиками: 60% - рексис: DL + классика + аналитика 20% - поиск и crm: персональное ранжирование + аналитика 15% - content intelligence с LLM, скажем так 5% - реклама До этого из области RecSys построил с нуля все рекомендации в Delivery Club, внедрил R&D в Wildberries А еще активно зарабатывал деньги для компаний классическим ML: оптимизация цен и промо-акций, автоматический заказ товаров на склады, планирование смен курьеров. Ну и конечно А/В тестировал все это дело! Довелось даже построить 2 платформы А/В: в Delivery Club и Лавке На канале пишу о том, как преодолеть путь от ML модели до реального Value для бизнеса. И какие грабли я собрал на этом пути за 10 лет 👍 Самые залайканные / обсуждаемые посты с хэштегами - Как впихнуть все интересы пользователя в один экран приложения? Новинки в DL RecSys: ARGUS-1B #recsys - Серия про оптимизацию цен на товары #pricing - Прогноз спроса и метрики регрессии: от RMSE до WAPE. Сколько товаров заказать на склад? #timeseries - 13 способов ускорить АВ тест или “не CUPED-ом единым” #ab - 70% фейлят ML system design собеседование #hiring #system_design - Что тебя ждет при переходе team lead —> head of ML #career 💡Написать мне: @Ivan_maksimov Можно позвать меня рассказать что-то интересное на конференции или в вашей компании, обсудить занятную ml-задачу, или проконсультироваться на счет ml-проекта1,35%
  • 16 янв.Middle+ ML engineers ко мне в команду рекомендаций Я.Маркета (3 вакансии) 300-400к руб на руки Москва, Спб или remote *если вы senior - тоже пишите, договоримся) Наша команда рекомендаций Яндекс.Маркета делает персональные рекомендации товаров на главной странице, подбирает похожие и сопутствующие товары, персонализирует поиск, crm-коммуникации и другие поверхности. Мы - бизнесовая команда, которая приносит прямой прирост выручки/прибыли компании в АВ-тестах. Баланс бизнес-рисерч у нас 80-20 Сейчас мы ищем уверенных ML инженеров на 3 трека: нейросетевые рекомендации, более классический recsys + discovery, СRM-персонализация. Внутри команды со временем трек можно менять, это скорее фокус на ближайшие полгода 1. Нейросетевые рекомендации Предстоит работать в первую очередь над трансформерной моделью ARGUS-8k, глубоко погружаться в архитектуру - Добавление новых входных данных для нейросетей: поисковые запросы, новые типы действий (шеринг ссылки на товар), фичи пользователей и тп - Эксперименты с эмбеддингом товара: что из текстового описания и характеристик использовать, как учесть картинки товаров, semantic id и дп - Эксперименты с архитектурой: добавление отдельной головы под новый таргет, изменение лосса и тп - Адаптация моделей под сценарии: рекомендации на главной странице, товары-аналоги (учет контекста основного товара), поиск (учет контекста поискового запроса) - Анализ наших данных и поиск точек роста в ML-моделях через новые таргеты, входные данные или фичи 2. RecSys и Discovery Нужно оптимизировать не только количество действий пользователя в моменте (заказы, корзины и тп), но и учитывать юнит экономику товара + оптимизировать долгосрочный LTV пользователя. С нейронками работать тоже нужно, но без настолько глубокого погружения как в выкансии выше: и BERT-ы для похожих товаров учить, и LLM-ки применять, и многое другое. Основы нашей архитектуры рекомендаций можно посмотреть в докладе на highload - Эксперименты с таргетом ранжирующих моделей: как учесть юнит экономику товаров? как балансировать текущий интерес и новые discovery категории для пользователя? - Discovery брендов: например, как любителям одежды показывать новые фэшн-бренды? - Lifelong рекомендации: как запомнить релевантные интересы пользователя из далекого прошлого? Купил сноуборд 1,5 года назад (интерес/хобби - катание на сноуборде) -> рекомендуем ботинки для сноуборда или горнолыжный шлем сейчас - Развитие моделей для подбора товаров-аналогов: коллаборативная фильтрация, статистическая со-встречаемость (PMI, swing, ...), BERT и тп - Внедрять и улучшать LLM для рекомендаций - Анализ наших данных и поиск точек роста в ML-моделях через новые таргеты, фичи или бизнес-логику 3. Персонализация CRM - Строить ML-модели склонности к покупке категорий и брендов (Catboost, ALS, LightFM, трансформерные модели) - Uplift-модели для коммуникаций с пользователем - Определять персональную контактную политику (как часто коммуницировать? в какие дни и время?) - Запускать АВ-тесты и влиять на бизнес-метрики - Анализ наших данных и поиск точек роста в ML-моделях через новые таргеты, фичи или бизнес-логику Что жду от кандидата - Опыт работы в ML/DL от 1 года - Python, Airflow - SQL - A/B тестирование и статистика - Классический ML: catboost и способы генерации фич, ml-метрики - Базовые знания в DL: эмбеддинги, типы слоев, функции активации, attention - (доп для DL) Глубокое понимание нейросетей в NLP или RecSys: BERT-подобные модели Будет плюсом - Продакшен опыт работы с задачами поиска или рекомендаций - Опыт работы с LLM: rag, sgr, so - (доп для DL) Опыт с нейросетевыеми моделями рекомендаций: SASRec, HSTU 🔤 Резюме можно присылать напрямую мне в лс - @Ivan_maksimov UPD 22 янв. Спасибо большое всем, кто откликнулся! Я не ожидал, что будет так много желающих: на ближайшие пару недель мы заняли все слоты собеседующих:) Поэтому временно резюме больше не принимаю, чтобы оперативнее отсобесить текущий пул кандидатов. Если откроем найм вновь - обязательно сообщу 😊1,29%
  • 20 мая 2024 г.70% фейлят ML System design 😱 За последние пару месяцев я провел 20+ ml system design собеседований. ~70% кандидатов после него оценил на грейд ниже ожиданий / неподходящие к вакансии (но Ок на другие) / no hire Дам несколько советов, как можно улучшить результаты на таких собесах 🚀 У вас будет +- 40 минут на дизайн всей системы: - Понять бизнес-проблему - Сформулировать, зачем мы ее решаем + на какие бизнес-метрики влияем - Перевести все это в ML-задачу - Определить X, y - Не забыть про loss и ml metrics (часто это разные вещи) - Рассказать про алгоритм - Способ валидации - Обсудить, как катить все это дело в прод - Проведение А/В - Выкатка на 100%, мониторинг в проде и пару слов о дальнейшем развитии 1. Потренируйся хотя бы 2-3 раза Как видите, пунктов много. Забыли хотя бы один - огромный минус. Потренируйтесь проходить такой тип собесов У меня был кандидат, который пришел на ML system design, но даже не погуглил, что это - конечно это был фейл 🥲 2. Используйте Miro / draw.io Если вы рисуете хорошую схему архитектуры, то становится в разы понятнее + вы точно не забудете детали. Но опять же, потренируйтесь рисовать схемы - иначе вы просто будете терять время на рисование непонятных квадратиков 3. Расскажите бейзлайн подробно, SOTA - кратко Цель собеса - сделать рабочее решение. Показать свои знания SOTA - важно, но вторично. Поэтому сначала сделайте бейзлайн-решение со всеми пунктами выше, кратко упоминая как можно его улучшить. Останется время - в конце вернетесь к пункту Х и расскажете подробнее про SOTA Хорошо: В бейзлайн версии переводим текстовое название и описание товара в вектор предобученным FastText. Потом можно потестировать файнтюн BERT / E5 / your_fancy_model Плохо: Переводим текстовое описание в вектор через GPT-4о В плохом варианте сразу возникнут вопросы, на которые вы НЕ успеете ответить: Как же стоимость api? как на проде это будет работать? что с перс данными? а кандидат точно знает, как работает gpt? и тд. Даже если вы знаете ответы - можете не успеть их рассказать, и впечатление будет смазанным 4. Простой как пробка продакшен Вы даже не представляете, сколько кандидатов посыпалось на дизайне real-time рекомендаций, потому что это правда сложно Если можете задизайнить batch-предикт для продакшена раз в ночь - сделайте лучше так. Останется время - попробуете вместо рассказа про SOTA прикинуть, как можно делать batch-предикт раз в пару минут или real-time 5. Не забывайте, что вы решаете бизнес-проблему Очень легко в задаче "Удержания клиента" закончить на дизайне классификатора оттока. Проблема в том, что сам классификатор проблему не решает 🧠 Нужно еще поверх него накрутить логику push-рассылок с промокодами, понять издержки на них, выбрать оптимальную скидку и много всего вот этого бизнесового. Хорошо расскажете про бизнес - почти гарантированно получите +1 грейд Прочитали? Вспомните п.1 и потренируйтесь -- решите хотя бы в 5-минутном MVP варианте дизайн для "Матчинг товаров нашего маркетплейса с маркетплейсом-конкурентом для прайсинга: Хотим ставить цены не дороже конкурента". Готов после ответов в комментариях накидать каверзные вопросы ⬇️ тг-канал @ml4value #system_design #career1,26%
  • 31 янв. 2025 г.без подписи1,22%
  • 25 янв. 2025 г.Инсайты с Data елки 🌲 На прошлых выходных ходил на Data елку в VK. В этом году по ощущениям бОльшая часть конфы была про RecSys и LLM: немало интересных докладов и кулуарных разговоров. Вот что мне запомнилось больше всего 1. VK RecSys Challenge: однозначного лидера в моделях RecSys все еще нет Среди победителей на достаточно большом датасете VK.клипов есть решения на траснформерных нейронках, классических MLP и даже просто бустингах. В общем, успех зависел скорее от того, насколько качественно вы умеете варить мл-алгоритм, чем от самого алгоритма. Ну а на среднего размера датасетах консенсусно рулят EASE + бустинги 2. Foundational models в рекомендациях 💡 Нейросети в рекомендациях все больше идут в сторону Foundational models = единая модель для всех типов действий, которая используется везде (лента перс рекомендаций, поиск, похожие) и предвидит будущее предсказывает будущие действия пользователей 3. LLM файнтюнят все, но используют активно в проде не только лишь все Все файнтюнят open-source LLM (в основном llama) на своих данных - внедряют в основном для автоматизации поддержки. Но для подавляющего большинства задач все еще рулят BERT-ы. Кстати, с времен RoBERTa вышло много апгрейдов - почитайте про вышедший месяц назад modernBERT 4. Ставка на LLM-агенты в 2024 году не оправдалась 🥷 Все еще крайне мало успешных внедрений в бизнес. Но посмотрим, что нам сулит 2025 год, уже есть подающие надежды кейсы В общем, в интересное время живем - продолжаю активно наблюдать за областями RecSys и LLM/NLP, и даже в некоторой степени их трогать) #recsys #articles_review1,20%
  • 16 авг. 2024 г.Как растить деньги и ронять продуктовые метрики 😐 Не первый раз сталкиваюсь с тем, что метрики денег и метрики продукта смотрят в разные стороны Представьте, что вы улучшаете Поиск. У него есть продуктовая метрика «поисковой релевантности» - насколько найденный товар соответствует поисковому запросу. Ее можно посчитать через асессоров (и еще парой способов) С точки зрения поисковой релевантности на запрос «Книга Гарри Поттер» очевидно нужно выдавать книги о Гарри Поттере. И чем точнее мы их находим, тем больше денег зарабатываем. Или нет? 💣 Представьте, что топ-4 результата поиска - и правда книги о Гарри. А потом частенько попадаются игрушки/диски/постеры из вселенной Поттера. И люди из запроса про книгу покупают детские игрушки! Деньги растут, а поисковая релевантность нервно курит в сторонке 🥲 Похожий кейс, когда с ~10 позиции появляются книги других серий, которые похожи на Поттериану Следующим постом напишу, как я считаю, нужно решать такие кейсы. А что думаете вы? Пишите в комменты ⬇️ #metrics1,11%
  • 15 нояб. 2024 г.Мой топ-10 проблем с рекомендательными системами. Часть 1/4: Junior По следам классного поста о топ-10 моделях в рек системах. Когда вы их выучите и внедрите, то 100% столкнетесь с проблемами То, какие проблемы вы заметите и качественно решите, часто и определяет уровень синьерности. Поехали! Проблемы уровня Junior Их обычно заметно невооруженным взглядом. Их достаточно часто могут определить даже далекие от рексис люди, посмотрев визуально рекомендации для себя 1. Нерелевантные аспекты Непопадание в пол, ценовой сегмент или не учет явных интересов пользователя Классика жанра, встречается практически во всех моделях Решается очень по-разному: обучением отдельных моделей под сегменты пользователей, фичами в ранжирующем бустинге, костылями на проде - придется быть креативным 😇 2. Почти дубли + Низкое разнообразие 99% моделей оценивают некий скор релевантности товара пользователю. Часто очень похожие товары примерно одинаково релевантны, поэтому могут забить весь топ рекомендаций. Например, разные версии айфонов Решается продуктово склейкой почти одинаковых товаров в одну карточку товара и на уровне ранжирования учетом разнообразия через DPP / MMR. Есть и более современные подходы: наиболее близки к этой теме multi-interest learning, listwise ranking 3. Кликбейт Принимает разные формы: - Слишком дешевые товары - Слишком дорогие товары (золотой айфон за 1 млн) - Кричащие заголовки / картинки (Напиток для похудения за 3 дня, курсы по ML с нуля до миддла за 3 месяца ) - Фрод продавцов или создателей контента (Фейковые отзывы, самовыкупы, циклические короткие видео) - И еще добрая сотня вариантов В основном борятся с кликбейтом аккуратным выбором таргета (вместо кликов использовать только долгие клики, например) и фильтрацией отдельных товаров/продавцов/тем по рейтингу, CTR и продуктовым свойствам А как бы вы решали эти 3 проблемы?) #recsys1,04%
  • 14 апр. 2024 г.В поисках SOTA для рекомендательных систем Однозначный лидер есть и в табличках (бустинг), и в LLM (GPT-4, Claude 3) и много где еще. Но в мире рекомендаций его нет! На paperswithcode на каждом датасете свой лидер: ALS, EASE, SASRec,… где-то даже tf-idf 😅 Крупнейшие компании абсолютно по-разному строят свои рек системы. EBay ушел в кластеризацию товаров + поиск похожих, Pinterest полюбил трансформеры, при этом кое-где зажигает и классический ALS На мой взгляд, SOTA нет, потому что задача «рекомендаций» в каждой индустрии своя В соц сетях часто нужно показывать новые посты от любимых авторов/друзей. В фильмах - популярные сейчас и похожие. В продуктовом ритейле - стандартную корзину покупателя (повторные покупки) Хотите поэкзотичнее? В одежде чуть ли не главный челлендж - учет размера 📐 По некоторым прикидкам, если онлайн-ритейлеры одежды с этим справятся и снизят возвраты, то это похоронит оффлайн магазины одежды В общем, сфера рекомендаций не так проста, как кажется 💯 P.S. Если знаете клевые рек модели в вашей индустрии - пишите в комментарии, очень интересно 🧐 #recsys1,02%