ANDRON ALEXANYAN
СтатистикаПишу о том, как проводить аналитику и делать правильные выводы. Основатель simulative.ru — обучаем крутых аналитиков. Для связи: @andron233
- Последний пост
- 2 июл.
- Последнее чтение
- 12:42
- Постов за неделю
- 0
- Всего постов
- 20
- Тип
- открытый
- Язык
- русский
- Категория
- Курсы (по похожим)
- В каталоге с
- 12 авг.
- 1/24сутки в ленте
- —
- 1/48двое суток
- —
- 1/72трое суток
- —
Оценка по просмотрам недавних постов: пост набирает почти всё за первые сутки.
Посты
Друзья, мы начинаем! Подключайтесь: https://start.bizon365.ru/room/73631/liveweb_bootcamp_june UPD. Закончили)
Приходите сегодня в 19 мск на открытый эфир со мной! 1. Будем практиковаться: писать SQL-запросы и строить дашборд для руководителя 2. Поговорим про рынок труда — какие коррективы вносит развитие ИИ, кризис и отсутствие бензина 🤡 3. Поговорим про карьеру — расскажу, как можно стать аналитиком за 10 недель Плюс для всех участников подготовили бонус — дополнительная домашка по мотивам того, что разберем на занятии! Ссылочку вкину сюда перед стартом 😏
видео или голосовое, без подписи
В продолжение темы по временным рядам — иногда умение работать с ними помогает решать и другие, сильно более утилитарные задачки. Например, недавно я проводил вебинар, где на примере оценки рекламных кампаний показывал концепцию прокси-метрик. Идея простая — иногда у нас тупо нет времени/денег тестировать рекламу и ждать результат «в деньгах» (ну то есть как наши заявки с рекламы сконвертируются в оплату). И чтобы ускорить эксперимент, часто выбирают прокси-метрику — метрику, которая достаточно сильно связана с нашей целевой. И вот это «сильно связано» можно формализовать как раз с помощью временных рядов. Обычно берут 2 ряда данных (например, данные по продажам и данные по стоимости заявки), строят регрессию и смотрят на коэффициент R2. Если он больше 50% (то есть одна метрика объясняет более 50% разброса другой величины), то метрику можно считать прокси. И таких примеров очень много — навык прогнозирования вообще часто пригождается в подобных задачках (хоть иногда и приходится повозиться). Если тема временных рядов вам интересна — мы на несколько дней открыли записи наших закрытых эфиров по временным рядам. Один из них как раз про прогнозирование. 🔗 Забрать эфиры
В аналитике есть задачи, которые сложно решить не потому что «у вас не прокачано продуктовое мышление», а просто потому что для решения этой задачи нужны специальные знания. Причем иногда даже смотришь на проблему и не подозреваешь, что уже существуют готовые инструменты для решения подобных задач. Одна из таких тем — работа с временными рядами. На мой взгляд, это очень недооцененный и полезный навык: огромное число бизнес-задач можно решать именно с помощью обработки рядов. Вот несколько примеров из моей практики. Одно из больших темных пятен для селлеров на маркетплейсах — как связаны события «человек добавил товар в корзину» и «человек сделал заказ» (да, представьте, некоторые маркетплейсы не показывают такую статистику). Эта информация очень важна — иначе ты вообще не понимаешь, как связаны: 1/ реклама, которую ты крутишь СЕГОДНЯ 2/ корзины, которые люди кладут СЕГОДНЯ с твоей рекламы СЕГОДНЯ 3/ заказы, которые люди делают СЕГОДНЯ, а еще все последующие дни... Можно, конечно, проводить шальные эксперименты формата «сегодня покрутим, завтра отключим — посмотрим на дотекания заказов». Но, во-первых, алгоритмы рекламные такое не любят. Во-вторых, не все готовы жертвовать выручкой ради инсайтов. А решить эту задачу можно достаточно качественно с помощью обработки временных рядов. Банально — взять временные ряды рекламных кликов, корзин и заказов и посчитать кросс-корреляции. Например, на одном проекте мы так выяснили, что один товар заказывают день в день, а у другого похожего товара заказ делают с лагом почти в 7 дней! И это очень полезная информация — после этого мы можем более точно оценивать окупаемость маркетинга + планировать запуск рекламы, оптимизируя рекламный бюджет. Но иногда просто посчитать кросс-корреляции недостаточно и нужно копать глубже. Тогда помогают инструменты типа псевдоконтроля, causal impact и другие инструменты проведения экспериментов без А/B-тестирования. И в их основе тоже лежит работа с временными рядами! Вообще, тему временных рядов я люблю — у меня много статей на эту тему и кандидатская диссертация про обработку временных рядов) Если вам интересно разобраться глубже в этой теме — на 3 дня открыли для вас записи практических эфиров по временным рядам. 🔗 Забрать можно в телеграм-боте Первый эфир — про прогнозирование. Второй — про анализ многомерных рядов и влияние рядов друг на друга. Уверен, что после просмотра вы точно захотите закопаться в эту тему поглубже (я вот уже 10 лет копаюсь и все никак не могу остановиться 😄).
Еще буквально несколько лет назад в любой современной компании были задачи, которые ОЧЕНЬ важны, но при этом решать их всегда было невероятно сложно/дорого/долго. Например: 🕊️ Контроль качества звонков менеджеров по продажам. Позволить себе такое могли только достаточно крупные компании и расходы на ОКК составляли миллионы рублей ежемесячно — для этого привлекали десятки «специалистов», которые тупо по чек-листу слушали всего лишь 10% (!) диалогов (больше было тупо дорого). 🕊️ Проводить исследования аудитории (кастдевы, глубинные интервью и проч). Это очень нужно, чтобы дорабатывать свой продукт, формулировать маркетинговые офферы, лучше понимать запросы аудитории и проч. Но это всегда было узким местом — горящие проекты всегда натягивали на себя внимание и для такого не оставалось пространства. Большие компании нанимали целые отдельные (и дорогие) команды продактов или заказывали ресерчи на аутсорсе. Список можно продолжать очень долго — это всего лишь несколько примеров. Но с развитием AI все очень сильно поменялось — за счет невероятного роста качества транскрибации + анализа диалогов, в компаниях буквально появился новый (недооцененный!) источник данных. То есть в любой компании можно настроить супер дешевый и супер простой механизм: 🕊️ все телефонные диалоги с каждым клиентом транскрибируются 🕊️ далее все переписки + все транскрибации по каждому клиенту сгружаются в ИИшку 3️⃣ далее с помощью несложных промптов происходит обработка всего массива диалогов 4️⃣ во время обработки выделяются важные (для конкретной компании) признаки — например, «упомянул ли менеджер, что мы выдаем государственный диплом», «в какой сфере работает потенциальный клиент», «что самое важно останавливает клиента от покупки», «какой основной страх клиента», «что самое важное для клиента при выборе» и т.д. Естественно, это делается не вручную, а настраивается автоматически, с помощью несложных Python-скриптов. По сути, если немного повозиться, на выходе мы можем получить размеченную базу данных с такой информацией: — номер сделки — купил / не купил — упомянул ли менеджер ... — в какой сфере ... — другие признаки ... То есть мы взяли месиво из неструктурированной информации (а кучу транскрибаций диалогов иначе и не назовешь) и построили 2 стандартных ETL-пайплайна: 🕊️ забираем из API нашей CRM-ки (например, AmoCRM) записи звонок (буквально mp3-файлы) с помощью несложного скрипта на Python → закидываем каждый звонок с помощью этого же скрипта по API в Whisper / ChatGPT / еще какую-то AI-приблуду, которая может превратить наш звонок в текст за не очень дорого → загружаем полученные транскрибации в базу/хранилище/озеро данных (да хоть в файлики, по сути не так важно) 🕊️ берем полученные записи → закидываем их новым Python-скриптом по API в тот же ChatGPT / еще куда-то для выделения признаков с помощью промптов (писал выше) → получаем уже структурированный набор данных (пример выше) и записываем его в классическую базу данных А дальше — работаем с этими данными, потому что это бесконечный источник полезной информации или аналитических исследований! Вот несколько примеров, что можно делать: — Провести анализ — какие боли/страхи клиентов чаще всего мешают покупке и приводят к неуспешным сделкам — Провести анализ трендов — как от месяца к месяцу меняется упоминание возражения «не хочу учиться долго, хочу максимально быстро освоить профессию» — Выявить паттерн изменения болей клиентов — по каждой боли построить динамику изменения за каждый месяц и посмотреть: какая боль убывает, а какая наоборот набирает обороты И чем дальше мы в это будем погружаться, тем больше нам захочется копать глубже! Только раньше у нас таких возможностей не было, а теперь появились! Здесь хочется подчеркнуть важную мысль, про которую я говорю каждый раз. Аналитика — это сфера, в которой аппетит приходит во время еды. Как только компания получает в руки отчет, который раньше она делать не могла — в ту же секунду такой уровень отчетов становится для них нормой и они сразу же начинают хотеть смотреть глубже. Это всегда так работает — именно поэтому аналитики обеспечены работой гарантированно навсегда 😄 Развитие ИИ нам на руку — чем больше он прогрессирует, тем больше у нас задач и пищи для анализа. Кроме того, сама ценность аналитики кратно повышается. Раньше очень много было ретроспективной аналитики — мы анализировали и считали метрики по историческим данным. Теперь все больше мы можем строить прогнозы в формате «мы видим вот такой паттерн у наших клиентов, давайте попробуем изменить наш продукт». И такие штуки применимы не только в поиске новых продуктовых фич — вы можете строить похожие пайплайны в анализе обращений в саппорт, в анализе новостного поля, в анализе ваших конкурентов и много-много всего. Что еще прикольно — я тут вот вроде описал какие-то сложные, на первый взгляд, вещи (API, питон-скрипты, пайплайны, автоматизация и проч). А на деле это парочка несложных Python-скриптов, которые отправляют запросы в API нескольких сервисов и складывают данные в базу. Любой студент, который прошел ключевые модули нашего курса, обладает достаточным уровнем технических знаний, чтобы решить эту задачу. А с учетом того, что часть кода вам сама ИИшка и поможет написать, задача еще сильней облегчается) Это я к чему — это все не какая-то алхимия, это очень простые вещи, которые вы можете делать уже прямо сегодня, даже если только начинаете свой путь в аналитике. И этот путь стал еще занимательней: вы сами видите, буквально на наших глазах появляются новые крутейшие и интереснейшие задачи, которые раньше могли себе решать только бигтехи с огромными командами. А теперь такое могут делать все и спрос на это будет расти и расти) Мы, кстати, и сами активно такими штуками пользуемся. Например, последнее время мы проводили глубокое исследование и решили кардинально пересобрать наш флагманский продукт — курс «Аналитик данных». Уже через 1 день, с 1 июля, старая версия будет недоступна для новых студентов. Мы очень сильно его переосмыслили — про причины и изменения напишу отдельный пост: что увидели, как считали и почему приняли именно такие решения. Отчасти эти изменения были неизбежны. Глупо отрицать, что мир не изменился. Он изменился очень сильно и продолжит меняться дальше. Сейчас есть короткое окно возможностей, и мы хотим, чтобы наши студенты стали бенефициарами этих изменений. Поэтому приглашаю вас пройти путь «с нуля до крутой карьеры в аналитике» вместе с нами. Сегодня и завтра — последние 2 дня, когда вы можете вписаться в программу «Аналитик данных» по старым, самым выгодным условиям. Уже послезавтра, 1 июля, мы анонсируем новый продукт — условия уже будут другие, но если вы оплатили раньше — мы переведем вас без доплат. Если вы готовы доверить свое обучение в наши руки — просто переходите в ботика и оставляйте заявку. И можете быть уверены — мы вас не подведем! P.S. Кто уже учится у нас и читает этот пост — не переживайте, в ближайшие пару дней мы подробно опишем вам процесс перехода на новый формат. P.P.S. Пока писал пост, общался с одним из наших студентов и прям в моменте придумали классную штуку — мы добавим в курс мастер-класс от меня лично, где я покажу, как строить эти самые пайплайны с ИИшками, API и прочими штуками, которые описывал в этом посте. И каждый студент сможет себе в портфолио положить такое — это вообще бомба будет!)
Только что закончили вебинар — всем спасибо, кто пришел в лайве! Круто посидели, навалили кучу пользы и даже не потратили 3 часа, как обычно это у меня бывает 🤡 Основной задачей моего рассказа было показать, что «делать аналитику в теории» и «делать аналитику на практике» — две очень разные задачи. И не потому что во время учебы дали «тепличный пример» или потому что «аналитика не работает». А потому что в реальной жизни ты постоянно сталкиваешься с ограничениями, которые невозможно предусмотреть заранее (да и вообще они уникальны каждый раз) — грязные данные, дефицит информации, недостаток времени/бюджета на тесты и куча всего еще. На вебинаре мы на конкретном примере посмотрели: как из «правильного» теста объявления за 11 миллионов (!!!) рублей мы сократили тест до 1500 тысяч рублей и результат остался статистически значимым (!). Мы не обманули систему, не пожертвовали точностью — мы просто адаптировали классический «идеальный» подход под реалии жизни) И такие конструкции работают везде. Например, когда делаешь анализ ассортимента в реальной жизни, сталкиваешься с вещами, о которых даже не мог подумать — сезонность, обязательный ассортимент, ценовые сегменты, десятки групп и подгрупп, неоднородность ассортимента в разных точках, эластичность... Но эту задачу можно решить — это будет все тот же ABC-анализ, только на стероидах и с кучей адаптаций. И именно про это полтора года назад я запустил свой авторский тренинг «Как делать аналитику». За последние годы я поработал с десятками проектах в самых разных нишах — B2C, B2B, ecom, маркетплейсы, ритейл, аптеки, медицина, образования, gamedev... Даже аренда люксовых авто и частных джетов были!!! И я по крупицам выработал для себя рабочие инструменты и подходы, которыми пользуюсь до сих пор каждый день — как РЕАЛЬНО делать аналитику в условиях РЕАЛЬНОЙ жизни. Если вы опытный аналитик, то тренинг — именно тот шанс, который вам нужен для скачка на следующий уровень. Если вы только начинаете — тренинги станет отличной базой, дальше вы будете наслаивать новые знания на уже окрепший фундамент. Если вы просто работаете с данными (руководитель/маркетолог/продакт/кто угодно еще) — для вас тоже будет много полезного. Чтобы записаться на тренинг или обсудить конкретно ваш запрос — просто оставьте заявку и мы подробно вас проконсультируем. Мы открыли набор уже давно, но я первый раз пишу об этом здесь — до старта осталось всего 4 дня, не упустите возможность запрыгнуть в последний вагон. Предыдущий поток мы запускали полгода назад и больше не планировали — решили сделать еще один запуск по просьбам студентов. Следующего потока, вероятно, уже не будет. Важный момент — это не курс. Эти материалы вы не найдете на ютубчике: весь материал — это выжимка моих знаний и накопленного опыта, поэтому тренинг и называется «авторский». Более того — вы сможете задать мне абсолютно любой вопрос лично: я вникну в ваш кейс и дам подробный ответ. И эта опция, вместе с материалами, останется у вас навсегда. В общем, если вам актуально прокачать свою мышцу делать выводы, искать инсайты и проводить аналитику даже в тумане — записывайтесь на тренинг 🤝
[ВЫ ЗАРЕГИСТРИРОВАНЫ НА ВЕБИНАР] Сегодня в 19:00 мск проведу вебинар «Аналитика в реальной жизни: как делать выводы, когда из данных ничего не понятно?». Тема очень горяченькая. Буду рассказывать на примере рекламных объявлений, но полезно будет абсолютно всем, чтобы посмотреть — как использовать аналитику не в сферическом вакууме, а в реальной жизни, где постоянно не хватает времени/денег/еще чего-то. Если опираться на умные книжки, то чтобы получить статистически значимый результат «объявление нужно отключить» иногда нужно потратить по 2-3 миллиона рублей на каждое. Понятно, что это бред) Получается, аналитика — бесполезна? Нет, на вебинаре как раз конкретно покажу — как адаптировать это к реальной жизни и проводить тесты «дешево и сердито». Все, как мы любим) И еще раз — актуально будет не только маркетологам и не только гуру математики. Все буду объяснять максимально понятно и на жизненных примерах) Моя задача — показать одно из применений аналитики на практике, чтобы у вас выстроился мостик «теория → практика». Приходите!) Ссылку на подключение закину сюда за 10 минут до начала.
Буквально только что во внутреннем чатике наша студентка с курса по аналитике данных написала полезный фидбек на мой пост (Ольга, спасибо!). И я понял, что немного обосрался — сейчас исправим 🤡 В своем посте я забыл подчеркнуть одну маленькую, но КАПЕЦ КАКУЮ ВАЖНУЮ деталь: Я говорил не о том, что вам нужно знать, чтобы зайти в профессию. Я говорил о том, в какую сторону вам нужно продолжать развиваться, чтобы оставаться конкурентоспособным и расти в профессии, когда вы уже стали аналитиком. Вырос ли порог входа в аналитику за последние годы? Да, абсолютно точно — и это нормально, потому что профессия аналитика достаточно молодая сама по себе. Но Ольга очень точно заметила: На одном из вебинаров, когда я только начала учиться в Simulative меня вдохновила фраза одного из менторов курса, что да, требования выше становятся, но и людей меньше, которые доходят до конца. И в моменты желания отложить курс, я вспоминала, что продолжая учиться, я попаду в этот маленький процент, и будет меньше конкуренции. Именно так! Это так и работает. И про это и есть мой самый первый и самый главный тезис — «учитесь решать (и любить решать) сложные задачи». Представьте двух кандидатов: * Первый закончил курсы, на собесе чувствует себя неуверенно, портфолио пустое или с какими-то элементарными проектами, разбор которых есть на Хабре * Второй — с легкостью решает задачи на собесе и с мощным бизнесовым портфолио Кому отдадут предпочтение? Конечно второму! И не потому что он красивое портфолио собрал. А потому что работодатель понимает, что уровень задач, которые сможет самостоятельно решить второй — сильно выше. Он сможет решать сложные задачи (ну то есть вообще сможет их решать), простые задачи сможет решать быстрей и так далее. Это вы-год-но. Итак, подытожу: 1. Чтобы войти в аналитику, достаточно знать самые основные темы — SQL, Python, метрики и базово BI. Если знаете больше (например, можете автоматизировать скрипт) — это точно плюс, но не блокер. 2. Но знать эти базовые темы нужно на продвинутом уровне — иначе вот в этом моменте вы проигрываете конкуренцию. Раньше проигрывали только другим кандидатам, которые чуть усердней вложились в свою подготовку, а теперь еще маркетологу, который сам может навайбкодить себе что-то. 3. Но если вы уже на старте круто разбираетесь в базовых темах (кто у нас учится — если вы, например, сложные кейсы по SQL из курса решаете) — у вас все круто, можете не переживать. 4. Еще раз подчеркну — НЕ НУЖНО УЧИТЬ ВСЕ СРАЗУ. В математике есть термин «максимально минимально». Вот и тут так — ваша задача освоить максимально быстро максимально минимальное количество тем, чтобы как можно быстрей выйти на рынок труда и получить оффер. Все остальное — в процессе. 5. А вот дальше, чтобы развиваться, нужно будет прокачиваться дальше. ДЕ, ИИшки, продуктовый подход. Это нормально — сейчас мир супер динамичный и было бы странно, если можно было бы иначе. За последние полгода несколько профессий просто исчезли с лица земли. Аналитику это точно не ждет, но трансформации будут (и вот про них как раз написал в предыдущем посте). Это в целом про концепцию lifelong learning — сколько живешь, столько и учишься. Постоянно узнаешь новое и развиваешься, как профессионал. И это на самом деле очень круто — ты мало того что постоянно растешь (в зарплате тоже, кстати), так еще и постоянно испытываешь вау-эмоцию, типа «оу, это так можно было! как я жил без этого!» И раз пошла такая пьянка — позволю себе незапланированный продакт-плейсмент) Пост вышел спонтанно, я вообще другой задачей занимался и не планировал ничео писать. Но если вам такая штука откликается — присмотритесь к нашей ПОДПИСКЕ НА ВСЕ КУРСЫ. Платите один раз и получаете доступ ко всему, что уже выпущено (и там как раз и аналитика, и DE, и A/B-тесты, и курс по ИИшкам, и тренинг про продуктовое мышление), так еще и ко всему, что еще будет (а планов у нас ого-го!!!). У нас до конца июня идет акцию на подписку — даем огромную скидку (а для наших студентов еще больше). В июле поднимем цены (т.к. с прошлого раза туда добавилось уже 7 программ!). Если вам интересно — напишите просто «+» или что угодно еще в чатик нашим менеджерам, они подхватят и проконсультируют вас: @simulative_team_3 🧡
На днях я глубоко погружался в записи разговоров наших менеджеров с потенциальными клиентами и заметил интересную штуку — все чаще я слышу от людей непонимание, куда вообще двигать свою карьеру, с учетом развития искусственного интеллекта. Ну то есть люди буквально в режиме ожидания: они реально хотят поменять свою жизнь и освоить аналитику данных, но боятся, что ИИ их скоро заменит. Хочу поделиться своими соображениями на этот счет — мне (скромно) кажется, что этот пост может вам помочь, если прямо сейчас вы задаетесь подобным вопросом. За развитием ИИ я наблюдаю давно, причем изнутри. Еще в 2019 году я участвовал в проектах, где мы разрабатывали системы распознавания лиц по фото — сейчас такие системы стоят везде, а тогда это было супер новинкой. Потом случился ChatGPT и прочие штуки — мы начали активно использовать их API для бизнеса. Сейчас технологии шагнули далеко вперед, и я активно использую ИИшки в своей работе (50% времени наверно точно), в том числе для аналитических целей. Например: — Я навайбкодил себе сервис с глубокой аналитикой рекламы в Яндексе и предиктивным подсказками. Раз в день захожу в сервис, трачу 10 минут на овервью всех кампаний, раздаю всем звездюлей и иду делать другие дела. — Сделал ИИ-агента, который подключен к нашей корпоративной базе данных. С агентом можно общаться как с ChatGPT — текстом или голосом, и он по запросу отвечает тебе в цифрах на вопросы или даже формирует эксельки с выгрузкой. Сейчас тестирую сам, скоро раскачу на команду. — Постоянно анализирую то, что раньше было невозможно — например, раньше я бы никогда не обработал 1000 звонков с клиентами (я с этого начал пост). Сейчас я это сделал за 5 минут и выделил несколько неочевидных для себя «болей» наших клиентов, которых раньше не было. И таких кейсов я могу привести очень много. Реально, отрицать эту революцию просто глупо — если вы не хотите стать кожаным мешком на службе у роботов через пару лет, нужно серьезно задуматься о том, как стать бенефициаром этой революции) Очевидно, что старые форматы перестают работать. Если ты просто «умеешь писать SQL-запросы» — тебя не наймут (или даже сократят). Но рынок не умирает, рынок меняется — это важно!!! И, если вы правильно видите изменения в рынке, то вы можете обойти многих своих конкурентов на рынке. Итак, из своего личного опыта и десятков часов ковыряния с ИИшками, вот ТОП-5 штук, на которые вам нужно надавить, чтобы не прошляпить момент и круто стартануть/бустануть свою карьеру: 1/ Учитесь решать сложные задачи и закапываться в детали Если схема базы данных легкая или нужно собрать элементарный отчетик — любой маркетолог с подключенной к БД LLM-кой справится с этой задачей и без вас, не зная SQL. Но как только возникает сложная структура данных, куча корнер-кейсов, навороченные отчеты — LLM-ка начинает упускать детали, а менеджерам впадлу вникать и докручивать до результата. В этой части вряд ли будут существенные сдвиги, потому что это связано не с «глупостью» LLM, а с недостатком контекста по задаче. Поэтому аналитики, которые могут решать реально сложные зубодробительные задачи — будут на коне. Мы всегда в это верили — именно поэтому про наши задачи в курсах часто говорят «Так сильно я еще никогда не потел, но оно того стоило». Многие аналитики годами работали по факту переводчиками — просто переводили не с русского на английский, а с менеджерского на SQL-ный. И как правило запросы были не сильно навороченные. И ребята, которые остались на этом уровне или собираются заходить с таким уровнем знаний — вот у них будут проблемы. А на коне будут те, кто будет уметь реально сложные задачи. 2/ Разбирайтесь в инфраструктуре Реальность такова, что сейчас каждый может навайбкодить себе полноценный аналитический сервис или вообще что угодно. Не удивлюсь, если скоро это станет обязанностью аналитиков (это логично — я вот выше писал, что сделал себе такой сервис — ясное дело потом я передам его аналитику по наследству и он будет там ковыряться). Но есть пласт задач, которые частично автоматизируются, но все равно требуют и будут требовать ручного вмешательства — инфраструктурные задачи. Поднять и настроить сервер, выкатить релиз, настроить права, настроить автоматические пайплайны и прочее. Ну или как минимум контролить это все и уметь вмешаться. Это дата инженерная работа (или даже иногда ближе к девопсам), но что поделать — жизнь такая: мы уже давно говорим, что каждый аналитик должен становится фуллстак-аналитиком и прокачивать свои скиллы в дата-инженерии обязательно! Это то, что выделит вас от коллег-нубов и роботов. 3/ Привыкайте делать интеграции Еще одна дата-инженерная функция — ценность навыка построения автоматизированных пайплайнов будет только расти. И снова, это логично: если каждый чувак в компании может навайбкодить себе сервис аналитики, то он 100% захочет подрубить туда данные из общей базы, а еще из Яндекс Метрики, а еще откуда-нибудь. И с высокой долей вероятности где-то по пути от количества задач его ИИшка начнет галлюцинировать, косячить или что еще лучше — в разных таких сервисах будут разные данные. Поэтому в компании точно будет расти спрос на построение больших хранилищ или даже озер данных, чтобы каждый менеджер/маркетолог или дай бог всем здоровья кто угодно еще мог подключиться туда со своей LLM-кой и тянуть оттуда данные. Так что Python + Airflow + PostgreSQL вам в помощь! 4/ Качайте продуктовое мышление Неожиданно — мы сменили вектор от дата-инженерных задач в сторону продуктового мышления! Но я ж уже говорил — нужны фулстек-аналитики: сегодня ты пилишь пайплайны, завтра ищешь инсайты, послезавтра строишь дачу боссу дашборды 🤡 Почему нужно качать продуктовку: * Большинство вайбкодинга твоих коллег (и тебя) так и ограничится аналитикой, до автоматизированных агентов доберутся единицы. Но так как отчетики теперь не являются узким местом сами по себе, будет расти спрос на качественные выводы — а их мало кто умеет делать, по факту. * ИИшка без ТЗ — кусок железа и немного электричества. Если вы сами не знаете, по какому алгоритму надо собрать отчет, на что посмотреть или как выдавать рекомендации — можно, конечно, отдать это на откуп ИИшке, но лучше тогда продумайте сразу план Б на случай банкротства своей конторы) * В жизни все сложней, чем в теории. Выводы делать очень сложно, данных постоянно не хватает, статзначимостью и не пахнет. Чтобы из этого выпутаться, нужно очень круто шарить в аналитике именно с точки зрения продуктовки. 5/ Учитесь ИИшкам Ну и немного очевидного — ковыряйтесь в ИИшках! Не предлагаю вам тратить на это все свое время (вас все равно в это затянет, как только начнете, хех), но постоянно пробуйте новое и развивайтесь. Чтобы подытожить, идеальный рецепт «аналитика нового поколения»: фулстек-аналитик (шарит в аналитике, DE и продуктовке) + шарит в ИИшках + умеет решать сложные задачи качественно и быстро ИИшки вас не заменят, если вы адаптируетесь к новым правилам игры. Они станут вашими ассистентами, помощниками или вашими личными джунчиками, на которых вы будете сгружать кучу работы. А если вы не адаптируетесь и продолжите играть по-старому — они займут ваше место) Если согласны — накиньте реакций!
Итак, обещал написать про сегментацию — пишу! Сегментация — эта штука, про которую знают все. Ну типа ничего сложного — взял свой набор данных, разбил на группы по разным метрикам и кайфуешь. Например: — Крутим рекламу в Яндексе, берем данные по каждому…
Итак, обещал написать про сегментацию — пишу! Сегментация — эта штука, про которую знают все. Ну типа ничего сложного — взял свой набор данных, разбил на группы по разным метрикам и кайфуешь. Например: — Крутим рекламу в Яндексе, берем данные по каждому объявлению за каждый день — Разбиваем весь набор данных по полу/возрасту/гео/... — Ищем сегменты, где целевая метрика (например, цена заявки) плохая — Оптимизируем эти сегменты или отрубаем их вообще Выглядит супер просто, правда? Но на деле это не так 🤡 1/ В 90% случаев, когда начинаешь нарезать на сегменты, данных о важной метрике становится слишком мало (например, если у тебя 20 заявок было за период, то при разбивке на гео будут регионы без заявок вообще, а некоторые будут с 1 заявкой) — выводы делать невозможно. 2/ После нарезки информации становится тупо слишком много и мозг начинает плавиться от такого обилия. 2 пола, 7 возрастных групп, 80 гео, 4 вида устройств... Никакой оперативки не хватит такое адекватно проанализировать — и это только одна рекламная кампания! 3/ Как только ты начинаешь делать это на практике, ты понимаешь, что сегментов сильно больше. У тебя запущено 10 рекламных кампаний. В каждой кампании — в среднем по 4 группы. Это уже 40. И вот каждую группу тебе нужно нарезать на 100 сегментов по 4 признакам (см. предыдущий пункт) — потому что у каждой группы объявлений могут быть разные аудитории... Короче, жестко. Я частенько вожусь с сегментацией и скажу честно — до сих пор около 30% попыток заканчивается тем, что я плюю и злой переключаюсь на другую задачу. Ну потому что я думал «щас быстренько раскидаюсь», а в итоге меня затягивает в болото и вот я уже сижу весь в мху, на дворе 2026, а где-то в 2016 я просто решил просегментировать рекламную кампанию по продаже спиннеров 🤡 Вот несколько конкретных подходов, которые позволят хотя бы как-то выжить, не плюнуть и превратить сегментацию в реально рабочий инструмент: 1/ Самое важное: если метрика в сегментах примерно одинаковая — нафиг такие сегменты. На глазок особо нет разницы? Схлопывайте в один сегмент. Хотите математически обосновать? Два односторонних Z-теста для сравнения пропорций вам в помощь. Ну и иногда проверяйте — вдруг через месяц что-то поменяется и такая сегментация станет актуальна. 2/ Если данных недостаточно — используйте прокси-метрики. Если у вас 20 заявок, а показы рекламы в 80 регионах — попробуйте прокси-метрику (например, CTR объявления). 3/ Забудьте про пункт 2 (почти)!!! Используйте прокси аккуратно — сначала проверьте, есть ли прямая сильная корреляция между важной метрикой и выбранной прокси-метрикой. Очень часто она обратная: объявления с низким CTR могут приносить заявки (цепляют избранную аудиторию, но зато цепляют). Это не факт, но может быть. 4/ Конструируйте прокси-метрики из нескольких. Например, CTR умножить на % отказов (% людей, кто не просидел на сайте и 10 секунд). Иногда у них обратная зависимость и их перемножение может дать величину, которая хорошо будет коррелироваться с основной метрикой (заявками в нашем случае). 5/ Не зашкваривайтесь. Например, выше я писал, что каждую группу объявлений нужно анализировать отдельно. И это правда, если настройки разные. А если они одинаковые или даже просто близкие — то зачем? Например, "обучение по аналитике данных" и "курс по аналитике" вполне может быть в разных группах, но по сути они одинаковые — схлопните их. Автоматически так делать сложно, но вручную вполне ок. 6/ Не зашкваривайтесь (2). Если есть 2 группы объявлений, которые отличаются возрастом показа: в одной 0-18, 18-25, 25-35, а в другой нет сегмента до 18 лет. В остальном они, допустим, одинаковые. Ну так ок — просто объедините их по совпадающим сегментам, а который уникальный — смотрите отдельно. 3 группы всяк лучше, чем 5) 7/ Автоматизируйте сегментацию. Лучше потратить час времени, чтобы засунуть данные в условный Pandas, нормально сделать столбцы с признаками и дальше с помощью одной строки кода получать разбивку по сегментам, чем «сэкономить» этот час, а потом 10 лет ковыряться в эксельках (как я с рекламными кампаниями спиннеров до сих пор). Основное рассказал, но в ближайшие пару дней мне предстоит поковыряться с сегментами — если что-то вспомню, напишу!) И, кстати, эта штука не только для рекламы применима — сегментировать можно что угодно: от клиентов до ассортимента. И финальное, из какого вы сегмента? Проверим, кого тут больше! — Жен, до 18 — 🤓 — Муж, до 18 — 🤓 — Жен, 18-25 — 🤓 — Муж, 18-25 — 🤓 — Жен, 25-35 — 🤓 — Муж, 25-35 — 🤓 — Жен, 35-45 — 🤓 — Муж, 35-45 — 🤓 — Жен, 45-55 — 🤓 — Муж, 45-55 — 🤓 — Жен, 55+ — 🤓 — Муж, 55+ — 🤓 PS. Про спиннеры шутка. Я уже закончил сегментацию)
Обещал пост про сегментацию, но переобулся и решил сначала рассказать свежий кейс о том, как проводить A/B эксперименты на минималках в полях. Когда-то мы в Симулейтив делали буквально по несколько рассылок в неделю. Потом в какой-то момент мы решили, что надо увеличивать градус и с тех пор количество рассылок увеличилось примерно в 15 (!) раз по месяцу. А теперь мы дошли до точки, когда задумались — «хм, а может откат к старой механике сейчас повысит нам конверсию?». Итак, имеем задачу: — Есть телеграм-боты с аудиторией N десятков тысяч человек, которые получают условно 10 рассылок ежедневно и кликают на кнопки с конверсией X% — Хотим проверить гипотезу — а станет ли конверсия лучше, если мы уменьшим количество контента до 1 рассылки в день — При этом важно провести эксперимент так, чтобы не умереть с голоду по итогу месяца (ну типа перестали всем слать, эксперимент не сработал, а мы остались без продаж) 🤡 Получаем достаточно классический АБ-тест. Очевидно, нужно взять 2 группы — тест (шлем мало) и контроль (как слали, так и продолжаем). При этом: — Выборка должна быть однородной. Ну то есть не должны в тест попасть, например, все неактивные, а в контроле остаться активный сегмент. Очень соблазнительно так сделать, чтобы не уронить выручку, но такой эксперимент ничего не покажет. — Нужно сделать размер тестовой группы как можно меньше. Опять же, чтобы не уронить нечаянно выручку. — Но при этом размер лидгена должен быть достаточным, чтобы тест показал статзначимые результаты. Давайте проектировать и считать. У нас открыты вопросы: — По какой метрике проводим эксперимент? — Какой эффект ожидаем? — Какой делать размер выборок? — Как дробить на сегменты? — Как определить длительность теста? — Как оценить результат? Погнали отвечать. 1. За метрику очень хочется взять продажи, но увы — слишком маленькие выборки и нужно долго будет тестить. Т.к. продажи сильно коррелируют с фактом оставления заявки, можно взять прокси-метрику — заявку (то есть клик по кнопке в боте). То есть сравнивать будем конверсию в каждой группе «сколько уникальных человек оставило заявку» / «сколько уникальных человек получило рассылку». И там, и там считаем уников — дубли убираем. 2. Какой эффект хотим задетектить? Пусть сейчас конверсия 3%, а хотим увидеть рост до 5%. Вроде и достаточно реалистично, но при этом на объемной выборке даст существенный буст. 3. Какой делать размер групп. Первое: т.к. нам нужно минимизировать размер тестовой группы, сразу предполагаем, что пропорция будет не 50/50, а типа 20/80. Дальше можем посчитать размер тестовой группы по универсальной формуле: n_test = ((1 + r) / r) × p × (1 - p) × (Zα/2 + Zβ)^2 / Δ^2 r = n_control / n_test p = средняя конверсия между p1 и p2 (конверсии) Δ = p2 - p1 Zα/2 = 1.96 для 95% значимости Zβ = 0.84 для 80% мощности (Zα/2 + Zβ)^2 = (1.96 + 0.84)^2 = 7.84 Подставляя наши p1 и p2, получаем размер тестовой группы примерно 940 человек, размер контроля — 3760. В целом адекватно, не должно сломать нам выручку)) 4. Дальше идем — какой сегмент брать? Первое — очевидно, что активный. Нет смысла брать неактивный сегмент: контроль точно должен быть активным (чтобы было, с чем сравнивать), а тестовый сегмент должен быть однородным с контролем. Нужно что-то формата «5к человек, которые зарегались за последние 2 месяца на вебинары по тематике Х из одного рекламного источника». Ну и разбить их рандомно (ну то есть чтобы не было что в тестовой группе все люди из каких-то бич-каналов, а в контроле — из золотых каналов). Можно еще упороться и провести стратификацию, т.е. нарезать всю базу на сегменты (например, «регался 30 дней назад», «регался 30-60 дней назад» и так далее), чтобы оценить эффект этой штуки на разные сегменты базы (может где-то эффект будет обратный). Но мы не настолько хотим в это упороться — ведь чтобы оценивать по каждой страте отдельно, нужно кратно увеличивать выборку, а мы так не хотим)) 5. Сколько проводить тест? Классный и неочевидный вопрос! Обычно в АБ-тестах аудитория в группах набирается с течением времени и размер выборки определяет длительность (если надо 1000 человек, а в день приходит 100 — значит очевидно 10 дней). Но тут выборка сразу доступна вся. Из чего исходить? Все очень просто — нужно оценить, сколько времени обычно «докатываются» заявки после рассылок. Если основная масса оставляет заявку в течение 1-2 дней после рассылки, значит эксперимент будет быстрым. Если мы еще дней 7 получаем заявки — значит подольше. По итогу — считаем это число Х и просто добавляем к нему 7 дней (чтобы захватить все дни недели и тест был более чистым). Понятно, что чем дольше — тем лучше, потому что в этом деле много других факторов (например, в день получения зп активность выше, в праздники она может упасть и даже банально погода за окном влияет — люди склонны впадать в шашлычную кому). Но мы с вами работаем в полях, так что на сим успокоимся. 6. Ну и последнее — оценка результата. Здесь ничего нового — считаем uplift (uplift = CR_test / CR_control - 1), чтобы оценить размер эффекта + делаем односторонний z-test (если проверяем только гипотезу «конверсия выросла»), чтобы подтвердить стат значимость. → uplift положительный, p-value < 0.05 — эффект есть и он статзначим → uplift положительный, p-value > 0.05 — эффект есть, но он не статзначим → uplift отрицательный — мы все сломали (а чтобы понять, статзначимо ли это, нужно дополнительно посмотреть двусторонний тест) Вот такой вот получился хендбук по наколеночным A/B-тестам)) Пойдем пробовать с командой, потом поделюсь результатами!) Традиционная проверка связи: — ❤️ — не кейс, а мед — 💅 — очень интересно, но ничего не понятно — 🤓 — пожелать удачи нашему CRM-маркетологу)))
Друзья, больше 6 месяцев я не писал сюда — это были жесткие полгода, мы работали, как могли) Исправляюсь — уже составил себе контент-план на ближайшее время, чтобы не соскочить! Давайте для начала напомню, кто я такой и куда вы вообще попали 🤓 Меня зовут Алексанян Андрон, я основатель онлайн-университета Simulative — мы обучаем профессиям и навыкам в сфере аналитики данных и Data Science. А еще я: → Вхожу в ТОП-10 экспертов в РФ по аналитике данных по версии NewHR → Преподаю в НИЯУ МИФИ на кафедре Прикладной математики → Много лет занимаюсь аналитикой, постоянно развиваюсь в этой области и делюсь с вами (ниже будет дайджест) Теперь давайте несколько слов о Simulative (за полгода пришло много новеньких). Simulative это... Точней за это время вышел закон о русификации 🤡, поэтому «Симулейтив это»: → 2500+ студентов и сотни крутых историй от людей, которые кардинально поменяли свою жизнь после обучения у нас (если вам прямо сейчас не хватает мотивации — почитайте вдохновляющую историю Елены, это все происходило на моих глазах!) → 7 курсов-профессий в сфере аналитики и Data Science → 8 апскил-курсов и тренажеров для прокачки своих навыков (в том числе мой авторский тренинг «Как делать аналитику») → Совместная магистратура с НИЯУ МИФИ «Аналитика и инженерия данных» (уже второй год идет, сейчас как раз активно набираем новых студентов!) → А еще несколько бесплатных курсов, несколько вебинаров каждую неделю и куча всякого движа! Итак, надеюсь вы освежили в памяти, кто я — а теперь давайте сделаем выжимку постов, которые я крайне рекомендую вам прочитать, если вы их еще не видели! → Разбираем guardrail метрики → Кейс: Почему просела эффективность рекламы на маркетплейсе → Пост с 6 видами самых частых и неочевидных ошибок в аналитике → Кейс: Разбираемся с реальной статзначимостью опросов Здесь на самом деле только несколько постов — а на деле почти каждый пост в этом канале «вечнозеленый»: вещи, про которые я здесь пишу, не теряют актуальность со временем. Поэтому можете смело отматывать назад и искать интересные мысли!) Все, думаю, пока что хватит. Не хотел ворваться спустя полгода молчания с умными мыслями, как будто ничего и не было. Решил дропнуть сначала такую штуку. А следующий пост уже будет про твердое — про важность глубокой сегментации сценариев и конкретные кейсы. Stay tuned! Ну и финальное — в чем сила? — 🤓 — В правде, брат — 🤡 — В постоянстве, брат, а не раз в полгода писать — 😎 — В Ньтонах, брат — ❤️ — Просто рад, что ты вернулся, брат
Знаете, я ежедневно смотрю разные отчеты / дашборды / аналитические сервисы и почти всегда они очень плохие. Ну серьезно — в какой-то момент у меня уже так подгорело, что на одной из последних конференций я даже выступал с докладом «7 причин, почему ваши дашборды превращаются в бессмысленные картинки» 🤡 Вот небольшой топ самых частых проблем: ➖ Дашборд просто бесполезный Ну то есть там выведены какие-то метрики по теме, но они есть не все / скомпонованы не удачно / приведены в странных ненужных разрезах. Пример — показана динамика конверсии из заявки в продажу, но при этом конверсия считается по тупой формуле "сколько сегодня продаж / сколько сегодня лидов". А то что с момента оставления заявки до момента покупки проходит в среднем неделя нас не интересует, да?) Поэтому смотрим на такой дашборд и радуемся конверсии в 300% (как она получилась, нас, конечно, не волнует). ➖ Дашборд нефункциональный Вроде полезные штуки есть на дашборде, но как только хочешь сделать шаг вправо-влево, оказывается, что такой возможности нет. Например, построен дашборд с шикарной информацией по когортам. Ты зашел, все изучил, а потом решил исследовать — отдельно посмотреть на когорты с платного трафика, а отдельно на органику. И тут выяснилось, что такого очевидного фильтра нет. Печально. ➖ Страдает визуал Дашборд — это когда ты пытаешься запихнуть в экран информацию, которая вообще-то в базовом виде требует несколько экранов, а то и несколько десятков экранов. Достичь такого эффекта «сжатия» и лаконичности можно за счет удачного подбора визуализаций и точечных датавиз-решений: куда акцент поставить, как с дизайном поиграться, чтобы он способствовал понятности. Но вы же точно видели эти «дашборды», которые больше похожи на свалку таблиц и мусорных визуализаций. Самый частый пример — два линейных графика с одной осью, но с разницей в значениях на порядок (например, кол-во продаж и сумма продаж). В итоге один график нормальный, а второй — чисто прямая линия около нуля. Очень информативно, спасибо. 📌 Это тема очень большая — можно долго говорить про типовые косяки, как их исправить и как вообще изначально делать хо-ро-шо. Но проблема точно актуальная — даже аналитические сервисы, которые продают, по сути, дашборды, зачастую выглядят ну очень убого — что уж говорить про дашбордики внутри компаний для внутреннего пользования. Именно из этой боли вместе с Настей Кузнецовой (вы точно знаете ее канал «настенька и графики») мы решили запустить тренинг «Осмысленные дашборды»! Это авторский тренинг Насти — встречи в онлайне, чатик, 9 недель, и внутри все, что нужно знать про разработку дашбордов. И все это без привязки к конкретным BI-инструментам, чтобы было полезно всем! Сейчас действуют ранние цены для самых решительных — отличный подарок на Новый год для себя любимого) А если бы мне такой тренинг подарили — я бы вообще ошалел)) Сейчас идет набор на первый поток, но там уже собирается хорошая компания слушателей!) Набираем небольшую группу, чтобы уделить внимание каждому и дать максимум ценности. Поэтому, если вы хотите прокачаться в построении дашбордов или обучить этому своих сотрудников — переходите в тг-бота, чтобы узнать подробней. Ну и, как обычно, не переключаемся — на подходе новый пост про vanity метрики! 🍿
Не знаю как вас, а меня лично очень увлекает история использования AI в прикладных задачках. И я не про крайности типа «ИИ нас всех заменит» или, наоборот, фрустрацию в духе «ИИшки нифига не работают, это все хайп». В своих проектах мы активно используем ИИшки и AI-агентов для решения разных задач — и это круто работает уже прямо сейчас! Не костыль, не «средненько», а прям работает! Примеры: — ИИ-квалификатор — ИИ контроль качества звонков — Генерация обложек карточек товаров — Автоматизированные пайплайны обработки клиентских обращений Если вас эта тема тоже драйвит или вам просто интересно разобраться/вдохновиться — приглашаю вас на прикольную движуху! 15-18 декабря я участвую в буткемпе «30 AI-кейсов в продукте, маркетинге и бизнесе». В коротком формате спикеры расскажут — кто как внедряет ИИшку в свою работу и какие результаты это дает. 📍Как записаться Переходите и добавляйте Live-встречи в календарь, чтобы не потерять 👉 клик. Планирую послушать все выступления, чтобы забрать себе интересные механики на тест и на внедрение! И зацените состав спикеров! Андрей Анищенко @ Ebac Дима Зборовский @ Deliveroo Ваня Замесин @ AURA Academy Алекс Ларьяновский @ Realytics Алекс Беляев @ Community Sprints Ислам Мидов @ 2pr Константин Сухачев @ Overgear Настя Рябова @ TripleTen Игорь Трунин @ WhisperAI Макс Епифанов @ TripleTen Дмитрий Сергеев @ Dashly Дарья Щурик @ Greeneration Сева Устинов @ Elly Analytics Анна Шигарданова @ Zalando Андрон Алексанян @ Simulative Александр Поваляев @ AI Mindset Увидимся на лайвах, будет полезно! Регистрация здесь ✌️
Представьте, что вы аналитик в крупном интернет-магазине одежды. Вы провели исследование и поняли, что посетители сайта слабо кликают на карточки ваших товаров (т.е. низкий CTR). Изучив все факторы, вы увидели, что основная причина — плохие фотографии на карточках. Они сделаны на любительскую камеру и товары не выглядят сочно: не манят, так сказать)) Вы передаете задачку в отдел контента и они обновляют фотографии на новые. Так как живем мы в эпоху AI, ребята сильно не парились — загрузили исходник в ИИшку и просто нагенерировали новых (и очень крутых!) фотографий для обложки. Смотрим пару дней — CTR стабильно вырос и не падает. Кажется, получилось! Но не все так просто. Проходит еще пару дней и добрая половина заказов возвращается обратно на склад — покупатели отказались после примерки (хотя обычно выкуп был около 80%)! Это абсолютно классическая ситуация в аналитике — мы вырастили одну метрику, но сломали другую. Как говорил мой сантехник после работы электриков: «одно лечим, другое калечим» ☝️ Но есть метрики, которые ронять ни в коем случае нельзя. Они называются guardrail метрики или «барьерные», выражаясь православно. Как правило, такими метриками выступают средний чек, финальная конверсия в продажу, LTV и другие «фундаментальные» показатели. Обратите внимание, я написал, что именно «финальная конверсия» является guardrail метрикой, а не «конверсия в выкуп». Потому что, вообще говоря, даже если упала конверсия в выкуп, но при этом с учетом роста CTR мы зарабатываем в такой конфигурации больше денег — почему бы и нет) Единственное исключение — если мы сами выбрали для себя метрику «конверсия в выкуп» барьерной, т.к. на наш взгляд, например, низкий выкуп вредит нашему бренду или это просто дорого с точки зрения логистики. В общем, при любых изменениях всегда задумывайтесь — а не сломаете ли вы чего-нибудь в другом месте. А потом еще обязательно проверяйте. Кстати, по совершенно «необъяснимой» причине, как правило страдают следующие метрики: ➖ Которые не входят в KPI сотрудника (например, KPI таргетолога завязан на стоимость лида, он ее снижает, но CAC только растет, потому что он нагоняет некачественный трафик) ➖ KPI другого отдела (например, у маркетологов стоит KPI на количество лидов, они набирают их всякими читерскими механиками, а доля квалифицированных лидов падает вместе со сквозной конверсией в продажу — если в компании не умеют отслеживать долю квала, то по шапке получает отдел продаж) ➖ Метрики, которые проявляются со временем (например, у продакта стоит KPI на первую оплату, он всеми способами ее поднимает, но retention при этом падает — а понять мы это сможем только через полгода) Возможно и у вас в компании есть метрики, которые не помешало бы сделать барьерными прямо сейчас?) — 🔥 — мои изменения всегда идеальны! — 🤓 — Андрон, не пали контору — 🤡 — предлагаю барьерной сделать мою зарплату, она точно падать не должна
Этот пост — last call на третий поток моего тренинга «Как делать аналитику». Стартуем сегодня (❕) — уже почти закончили формировать чаты и открывать доступы. Если подумывали присоединиться — сейчас самое время, потому что в ближайшие месяцы потоков точно не будет. Чтобы записаться — просто переходите в тг-бота. Впереди веселые деньки — проверка домашек, ответы на вопросы и прочие штуки, но постараюсь отсюда не пропадать — уже на днях планирую написать пост про guardrail-метрики, не переключайтесь 🤝
Многие из подписчиков знакомы с когортным анализом и знают, что это мощный инструмент изучения прошлого. Но готов спорить, что почти никто не использует когорты для прогнозирования будущего. А зря! В основе такого прогноза лежит довольно простая цепочка рассуждений. 🕊️ Каждый месяц у нас покупают люди из когорты текущего месяца + люди из старых когорт. 🕊️ Самая свежая когорта в любой момент времени — когорта текущего месяца. 3️⃣ А что если мы сделаем самой новой когортой — когорту, которая будет через 12 месяцев? А все остальные сделаем старыми! 4️⃣ Тогда получается, мы можем моделировать разные сценарии! Так как у нас теперь появилось 12 дополнительных когорт, которые на самом деле еще не существуют, мы можем регулировать их размер и конверсии, чтобы смотреть, как это влияет на итоговую картинку. 5️⃣ Но откуда брать данные для этих несуществующих когорт? Опираться на исторические данные разными способами — брать средние, медианы, прогнозировать (если есть убывающий/возрастающий тренд) и использовать похожие подходы. И у нас получается крутой инструмент — мы можем уже сегодня спрогнозировать, какой результат мы достигнем через год, если будем двигаться в таком же темпе. Эта штука называется реверс-инжиниринг (потому что мы «переворачиваем» картинку, как будто сегодня — это прошлое). Такой подход дает сразу несколько апсайдов: 🕊️ Если ты поставил какой-то план в отрыве от данных, ты можешь сразу увидеть, насколько он реалистичный 🕊️ Ты можешь сразу понять, какой объем лидогенерации (т.е. размер новых когорт) тебе нужен, чтобы достичь план 3️⃣ Ты сразу понимаешь, какие конверсии и насколько тебе нужно подкрутить, чтобы достичь план Под капотом могут быть довольно сложные расчеты. Лучше всего когорты строить не по выручке и не по количеству продаж, потому что это производные метрики. Опираться лучше на размер когорт, конверсию в активность и конверсию в продажу. Можно пойти вообще далеко — декомпозировать выручку по иерархии метрик на разные продукты/воронки/механики, построить для всего отдельные когорты, а потом совместить это в один прогноз. В идеале еще учитывать коэффициент сезонности и прочие штуки. Тема довольно сложная, но очень интересная и полезная. Я потратил много часов, строя такие модельки для собственных и сторонних проектов. Результаты пока отличные — 2024 и 2025 год сходятся с точностью до 95% с прогнозом. Посмотрим, как эта штука покажет себя в 2026 😈 Если вам интересно глубоко погрузиться в когорты и реверс-инжиниринг на реальных боевых кейсах из моего опыта, без синтетических условий и с изучением продвинутых подходов — приходите на тренинг «Как делать аналитику». Поток стартует в конце этой недели, так что осталось всего пару дней, чтобы заскочить в последний вагон. Что думаете про 2026? — 🔥 — В 2026 будем жечь! — 😏 — Пока по планам на 2026 только выжить
На днях думал о том, какие уровни владения аналитикой проходил я сам, какие проходят все мои знакомые из индустрии и что отличает крутышей от начального уровня. И выявил несколько общих паттернов. ➡️ Движение по наитию В этой стадии решения принимаются без оглядки на данные вообще. Захотели запустить рекламу — запустили. Захотели привести 500 лидов — привели 500. Решили отключить пару кампаний — отключили. ➡️ Данные — это важно, «но» На следующем шаге ты понимаешь и признаешь, что данные — это важно. Например, ты прошел какой-то курс и решил принимать решения на основании данных. Но у тебя нет глубокого понимания, как это должно работать — почти любая инициатива упирается во что-то и в итоге гаснет. Например, ты понял, что нельзя просто так планировать следующий год — нужно опираться на исторические данные, смотреть поведение текущих когорт и прогнозировать будущие когорты. Но сразу же ты сталкиваешься с кучей проблем: — У тебя есть только часть данных. Не понятно, какие брать. — Компания последние несколько лет растет и прогноз получается слишком плоским, позитивным и нереалистичным — ... В итоге ты потратил кучу времени, а никакой пользы это не принесло — возникла куча «но» из-за которых твоя аналитика стала просто «аналитикой для галочки», а не рабочим инструментом. ➡️ Владение аналитикой на уровне рабочего инструмента Это последняя стадия, когда ты реально умеешь применять аналитические подходы в реальной жизни, даже если есть куча «но». Когда ты достиг этой стадии, ты можешь спрогнозировать следующий год с помощью когорт, сезонности и прочих штук, даже если возникает много «но». Ты можешь проанализировать ассортиментную матрицу, даже если там 10 000 SKU, есть ограничения по месту на полке, требования к минимальной представленности брендов и другие «но». Ты можешь провести достоверное тестирование гипотезы, даже если невозможно провести чистый A/B-тест, потому что много разных «но». ➖➖➖ Большинство подписчиков этого канала находятся, как минимум, на втором уровне. Самое интересное, что с точки зрения технических знаний, между вторым и третьим уровнем нет абсолютно никакой разницы — оба человека будут абсолютно одинаково считать когорты, абсолютно одинаково делать какую-нибудь кластеризацию товаров и т.д. Основное отличие — как в раз в умении адаптировать тот или иной аналитический подход даже под самую нетривиальную задачу с большим количеством «но». И этому можно научиться. В этом вопросе — главное совершить единоразовый квантовый скачок со второго на третий уровень. А дальше реакция необратима — ваше мышление навсегда перестроится. Такой «скачок» можно запустить двумя вещами: — Ты подробно посмотрел на стороннем примере, как это работает и словил эффект «о, а так можно было?!» — Ты на примере какой-то близкой тебе темы прочувствовал, почему твой старый «топорный» подход не работал и какой результат может дать новый подход Например, ты всю жизнь анализировал ассортимент магазина каким-то простым способом, он давал какие-то результаты с кучей «но». Потом ты увидел, что кто-то делает совсем по-другому — более глубоко, с отработкой всех тонких моментов. Ты словил ощущение «воу, круто!». А потом попробовал, оно дало совершенно другой уровень результата и все — квантовый переход свершился, больше ты не согласишься на меньшее. Именно такой эффект я хочу активировать у студентов своего тренинга «Как делать аналитику». Чтобы после прохождения, вы не просто прокачались в продвинутых подходах к проведению аналитики, но чтобы случился этот самый квантовый переход на новый уровень. Это точно работает — я ощущаю это очень часто на себе. У меня постоянно есть вопросы, в которых я профан. Я месяцами хожу и варю их, читаю книги, смотрю видео, но у меня не получается нащупать самую соль. А потом случаются 2 фактора, которые я описал выше, и мне сразу все становится понятным — и я каждый раз удивляюсь, почему я так долго до этого догонял. Если чувствуете, что находитесь на втором уровне и хотите запустить квантовый переход на третий — приглашаю вас сделать это вместе на новом потоке тренинга 📎