Метрики и аналитика

В прошлом году запускал опрос, и ваши ответы помогли уточнить содержание книги ❤️ Делюсь краткими выводами: Только 24% респондентов работают в компаниях со зрелой аналитикой, а 46% отмечают наличие лишь базовых аналитических практик. Это говорит мне о том, что есть ценность в описании того, как и за счёт чего можно развивать аналитику в компаниях и командах. У 76% опрошенных в компании есть аналитическая функция, при этом в 48% компаний аналитика децентрализована, и аналитики работают внутри продуктовых команд. Одна из ключевых проблем здесь — коммуникация между командами и внутри аналитического блока. Поэтому сделаю упор на то, как организовать аналитику внутри команды: на постановке задач и распределении зон ответственности. 58% респондентов так или иначе организуют аналитику в своей работе, но только 14% ответили, что знают, как именно её выстроить. Получается, что аналитика уже стала частью работы, однако знаний или уверенности в них не всегда хватает, чтобы грамотно выстроить процесс. Инструментов много, а вопрос организации остаётся открытым. Топ инструментов, которые применяют: • Воронки • A/B-тесты и их альтернативы • CJM • Юнит-экономика Про каждый будет отдельная часть с упором на практические примеры и типичные ошибки. Топ проблем: • Качество и доступность данных • Сложность использования данных для принятия решений • Отсутствие единых правил работы с аналитикой • Недостаток аналитических компетенций По работе с данными будет отдельная часть про базовую культуру. Также запланировал блоки, где поэтапно покажу, как от исследования через инсайты прийти к гипотезам и их проверке. Вроде бы классика, но важно показать этот процесс шаг за шагом. В итоге структура складывается такая: I. Аналитика в компаниях • Работа с аналитикой: профессия, навыки, роли в команде, работа с задачами • Организация аналитики: модели работы, внедрение II. Инструменты и практики аналитики • Поиск метрик: какие бывают метрики, фреймворки, деревья, модели продукта • Постановка целей: OKR, KPI, NSM, юнит-экономика • Работа с данными: основные принципы, визуализация • Анализ пользователей: сегментация, сбор логов, воронки, CJM • Генерация и проверка гипотез: анализ и инсайты, гипотезы, эксперименты Работа над книгой сейчас в самой активной фазе. Напишите в комментариях, если, на ваш взгляд, чего-то не хватает.

Сейчас многие строят работу с аналитикой через агентов, и мы в Weeek активно движемся в этом направлении. Вот была у меня гипотеза, которую хотела проверить на данных. К постановке задач в работе с ИИ подхожу ответственно и продумала весь пайплайн исследования. Формулировала запросы конкретно и нейтрально, давала необходимый контекст, следила, чтобы не наводить на желаемый результат. И в каждой итерации перепроверяла результаты и выводы другой моделью. В итоге гипотеза не подтвердилась. Но я получила важные сигналы, которые помогли скорректировать направление исследования. Но, как говорится, был один нюанс. За 12 часов до начала этого увлекательного путешествия решила поделиться своей гипотезой с мужем-аналитиком. И через 10 секунд он задал всего один вопрос, который мне, конечно же, не понравился, но к которому в итоге фактически и пришла.🫠 Итого: Аналитик с 16-летним опытом: 10 секунд. Продакт в паре с агентом и GPT: 3 часа. И вот как это интерпретировать? Я всё-таки «сэкономила» 16 лет и чему-то научилась? Или потратила 3 часа и много токенов? 📊 Аня Вайти | Продакт-блокнот

Угадайте, кто тот аналитик ☺️

Мы командой дошли до финала «Лидеров России» — всероссийского конкурса управленцев! На конкурс подали >75000 заявок, в финал прошли ~1.9%. Считаю, что сила нашей команды в синергии: • У нас разный опыт — закрываем слепые зоны друг-друга • Навыки распределены — разделяем работу и не пытаемся все делать всё • Мы разные личности — в команде важно слышать каждого, чтобы помочь или наоборот не мешать когда нужно Крутейшие! Горжусь! ❤️

Для обучения создал и третий год провожу со студентами игры по продвижению и проверке гипотез и каждый раз кайфую от процесса! Игры для обучения это здорово: - Только практика — можно сфокусироваться и учиться на собственном опыте - Быстрый результат — сделал действие и сразу получил результат, учимся быстрее - Разнообразие — в комфортной среде можно не бояться ошибиться и пробовать разные варианты - Смотрим шире — каждая команда играет по-своему, а в конце игры можем посмотреть и сделать выводы по разным стратегиям - Это весело — это игра и даже с серьёзным подходом можно получить удовольствие от самого процесса Кто играл, поделитесь воспоминаниями, как вам такой формат?

Спасибо, что проходите опрос и делитесь обратной связью! Недавно получил комментарий о нехватке информации об особенностях аналитики внутренних продуктов. Например, в известной книге Lean Analytics описаны 6 типов продуктов, но все они внешние. Все-таки книга ориентирована на предпринимателей. Поэтому в книге хочу шире развить тему продуктовых моделей и обязательно добавить для внутренних платформ. У меня есть опыт и понимаю, что там нужен свой подход. Если у вас есть запрос, напишите свои пожелания, это поможет раскрыть тему глубже. А опрос можно пройти по ссылке: https://forms.gle/UmurustcmkWspdWN9 Займет менее 5 минут. Он для продактов, фаундеров, аналитиков, руководителей и всех, кто работает с данными или хочет начать.

Оказывается, писать книгу — сложно 😂 Это большая задача, и мозг отказывается работать добровольно. В этом году на обучении у Сергея Горбачёва открыл для себя подход к таким ситуациям: просто начать делать. Без настроения, вдохновения и прочих «правильных» состояний. Первые 10 минут тяжело, но затем мозг настраивается на работу и понимает, что раз мы делаем, оно, наверное, важное. Поэтому так и делаю: начинаю с просмотра уже написанного текста, вношу правки, фиксирую идеи — и вот уже пишу следующую главу. Процесс запущен, мозг готов к сложной работе. В чём хитрость? Маленькие усилия на старте дают позитивное подкрепление от результата и дальше работа идёт проще.

Пишу книгу о культуре аналитики и хочу, чтобы она была максимально полезной. Беру темы из практики — вопросы студентов и собственный опыт работы с компаниями. Материала накопилось много, и сейчас важно выбрать главное. Здесь нужна ваша помощь! Пожалуйста, пройдите опрос: https://forms.gle/UmurustcmkWspdWN9 Займёт менее 5 минут. Он для продактов, фаундеров, аналитиков, руководителей и всех, кто работает с данными или хочет начать. Ваши ответы помогут сфокусировать содержание книги. Результатами и выводами поделюсь здесь. ❤️ Расскажите, пожалуйста, об опросе коллегам и знакомым — вместе соберём более полную картину развития аналитики в компаниях.

Метрики и аналитика pinned «Привет! Я Артём Чистяков — 15 лет в аналитике. 📊Опыт Сейчас я CDO в Т-Банке. Моя задача — организация аналитики на процессах, охватывающих всё обслуживание клиентов. Отвечаю за аналитику в 40+ продуктовых командах и развиваю экспертность внутри компании.…»

Привет! Я Артём Чистяков — 15 лет в аналитике. 📊Опыт Сейчас я CDO в Т-Банке. Моя задача — организация аналитики на процессах, охватывающих всё обслуживание клиентов. Отвечаю за аналитику в 40+ продуктовых командах и развиваю экспертность внутри компании. Ранее: • РБК и Forbes — развивал маркетинговую аналитику в медиа • Рамблер/ — построил аналитическую функцию для 15 продуктов • Банки.ру — руководил направлением продуктовой аналитики крупнейшего финмаркетплейса страны 🎓Преподавание 7 лет обучаю аналитике. Программы в НИУ ВШЭ, ИТМО, Финансовом университете. Разрабатывал курсы для Центрального Университета, Нетологии, Яндекс Практикума и Skillbox. Сейчас собираю накопленные знания в книгу для всех кто хочет строить работу на основе данных. 🔹Консалтинг и менторство — помогаю компаниям выстраивать аналитику и работать с метриками. Среди клиентов — ВкусВилл, Wildberries, Лукойл-технологии, ИД Коммерсантъ. — помогаю менеджерам продукта и аналитикам с карьерным развитием. По вопросам консультаций и сотрудничества пишите мне: @artem_chistyakov

Решил посмотреть, какие наработки из канала стоит взять для книги. Внезапно осознал, что среди подписчиков уже не только мои студенты и коллеги. Канал вырос, а нормальной визитки нет — исправляю. Приятный факт: на канале меньше 0,2% ботов. Спасибо, что вы настоящие! ❤️

На прошлой неделе провёл день с командой Wildberries. Изучали базу работы с метриками и практиковались с инструментами. Компания большая и при этом динамично развивается. Есть большой запрос на навыки и культуру работы на основе данных. Для развития сотрудников внутри создали корпоративный университет. Это важный шаг, который помогает формировать единую базу знаний по навыкам у всех сотрудников. В Т у нас корпоративный университет есть уже давно. Это и масштабные учебные программы, и короткие занятия на несколько часов — каждый может найти что-то своё. Регулярно прохожу внутренние обучения и ставлю цели на обучение в квартальный план аналитикам. Но главное в обучении, что размер компании не важен для самообразования. Учиться можно везде — главное уделять этому время.

Для меня в рабочей литературе важно чтобы всё было чётко. Нет «воды» в книге — использую время на чтение эффективно. Сейчас эталоном книги считаю «Практики регулярного менеджмента» Павла Безручко. Всё написано простым языком, по шагам: как строить работу эффективнее, какие ошибки бывают и как их избегать, как смотреть на процесс глазами менеджера и глазами сотрудника. Эту книгу советую всем, кто работает в командах и хочет улучшить качество процессов. А какие книги стали для вас эталоном деловой литературы?

Ищу стажёра-продакта в WEEEK 💜 Хочешь попробовать себя в продакт-менеджменте и поработать над реальным продуктом — присоединяйся 👇 Что будешь делать: • Исследовать пользовательский опыт и собирать данные • Анализировать и приоритизировать обратную связь • Изучать рынок и конкурентов • Помогать с продуктовой документацией Полное описание вакансии здесь. Если хочешь работать вместе, откликайся ✨

У коллег стажировка с перспективой роста. Знаком с их культурой и пользуюсь продуктом, рекомендую. Возможно, это то, чего кто-то из вас ждал ⚡️

10 октября 2010 года начал работать в аналитике. Юбилей 15 лет, получается. Теперь собираю этот опыт и знания в книгу-помощницу для менеджеров и аналитиков: об инструментах, практиках и том, как строить работу на основе данных. Какие темы в аналитике вам кажутся особенно важными для такой книги?

Для меня в обучении важно создать интерес. Без него падает и эффективность, и качество. Поэтому постоянно собираю обратную связь от студентов и на её основе улучшаю программу. ВШЭ тоже регулярно собирает ОС и по итогам года выбирает лучших преподавателей. Очень рад, что в этом году вошёл в этот список – для меня это важное подтверждение уровня. Преподавание – значимая часть моей жизни, которая сама по себе приносит огромное удовольствие. А такие оценки делают её ещё приятнее!

На прошлой неделе рассказывал на хакатоне AI-продуктов во ВкусВилл как измерять продукты и не упустить из виду главное: ценность для пользователя и стоимость для бизнеса. С фокусом на AI-модели легко увлечься техническими метриками (как работает модель, какой accuracy). Но за этим можно забыть, что продукт должен решать задачу и при этом быть рентабельным. Например, закупить мощные серверы «на вырост», а потом тратить деньги на их простой. Поэтому с коллегами заложили в программу отдельный блок про метрики и юнит-экономику: ⁃ Продуктовые метрики покажут, как и насколько продукт используют ⁃ Юнит-экономика поможет расставить приоритеты: на что тратить деньги в первую очередь, а без чего можно обойтись Сейчас менторю команды, отвечаю на вопросы и помогаю учесть важные части в проработке продукта. Продукты получились интересными, а подход у ВкусВилл серьёзный. Уверен, что ребята теперь держат в фокусе и технику, и бизнес-составляющую!

Как распознать использование LLM в работе? Проверяя большое количество дипломов и домашних заданий студентов, всё чаще сталкиваюсь с парадоксально неверными решениями. Причина – неправильное использование LLM. Что отличает сгенерированные работы от проработанных вручную? 1. Неконсистентность решений Если в задании нужно решать несколько взаимосвязанных задач, LLM часто предлагает решения, которые не складываются в логически целостную картину. Например: при проработке продуктовых метрик разными методами модель может предложить разный набор метрик для каждой из задач и итоговая картина теряет фокус и связность. 2. Неумение работать с нестандартными инструментами LLM хорошо справляется с популярными и шаблонными задачами, но не работает на задачах, требующих работы со специфичными фреймворками или подходами, про которые мало информации в открытом доступе. Например: при работе с кастомным аналитическим фреймворком модель не сможет предложить валидное решение – просто потому, что не понимает контекст и не знает специфику. Значит ли это, что LLM нельзя использовать в обучении? Конечно, нет. LLM – полезный инструмент, особенно на стадии генерации идей и набросков решений. Главное – использовать его осознанно. Как использовать LLM в решении задач? - Используйте модель как генератор вариантов, не как готовое решение - При работе с фреймворком – подавайте на вход концепции, а не просите сразу «решить». Модель может дать толчок для размышлений, но финальная проработка за человеком - Когда LLM генерирует список метрик для продукта – нужно уметь выбрать из него уместные И вот тут включается осознанность – навык, который модели пока заменить не могут.