No Data No Growth | Pavel Bukhtik

🐢 Эта фраза на финале может стоить вам оффера Когда я ушел из найма, то все равно продолжал ходить по собесам. Посматривал рынок и был открыт к действительно интересным предложениям. Однажды я дошел до финала в международном стартапе, который мне понравился. В конце меня спросили: – Ты же не торопишься? – Не тороплюсь, – на свою голову ответил я. – Просто позиция новая, хотим посмотреть еще кандидатов... Вернулись ко мне лишь через три (!) месяца. И с отказом. Как я потом узнал изнутри, не сошлись по деньгам на этапе внутреннего согласования. Другого кандидата они тоже не нашли, а позицию позже и вовсе упразднили. С тех пор я слышал много похожих историй. Для компании фраза «я не тороплюсь» очень удобна. Вам же она может стоить оффера. Потому что вы добровольно отдаете единственное, что создает давление на компанию на финале – свой дедлайн. Дальше ваш процесс легко теряет приоритет. У нанимающего появляются другие кандидаты и дела, меняется бюджет, вакансию ставят на паузу, уходит человек, который вас продвигал. За «хотим посмотреть еще кандидатов» обычно стоит одно из трех: 1️⃣ Вакансию правда только открыли. Такое бывает. Но рынок обычно понятен заранее, особенно на стандартном профиле. Затяжное «хотим еще посмотреть» чаще означает не нехватку кандидатов, а страх нанимающего принять решение. 2️⃣ Вы не дотягиваете до ожиданий. Самый частый сценарий. Вас в принципе готовы взять, но хочется проверить: вдруг найдется кто-то дешевле и/или сильнее. А вы пока в резерве: найдем лучше – возьмем его, не найдем – вернемся к вам. 3️⃣ Дело не в вас. Внутренний кандидат, согласование бюджета, перестройка команды, отпуск нанимающего, заморозка вакансии. Хороший признак – пауза привязана к дате. Плохой – «ну, посмотрим и вернемся». Чтобы понять, что происходит, спросите напрямую: – Сколько кандидатов сейчас на финальном этапе? – К какой дате вы планируете принять решение? – Чего вам не хватает в моей кандидатуре? Если назвали конкретные слабые зоны, то хотя бы понятно, чего ждут. А если содержательных сомнений нет, но и срок никто назвать не может, значит причина скорее всего не в вас. Вместо «я не тороплюсь» лучше сказать: «У меня есть параллельные собесы, по одному из них жду решение через неделю-полторы. Вы мне интересны, поэтому было бы здорово определиться примерно в эти сроки». Это не ультиматум. Вы не требуете оффер завтра. Вы обозначаете, что не готовы ждать бессрочно. Но чтобы это работало, есть два важных условия: 🔸 Дедлайн должен быть настоящим. Зафиксируйте срок и придерживайтесь его. Блефовать или нет уже дело ваше. Если нет других собесов, то это отличный повод их запустить. Дошли до финала здесь, дойдете и в другом месте. 🔸 Будьте готовы к риску. Могут ответить: «Раз не готовы ждать, значит, не судьба». Но спросите себя, что вы теряете. Позицию, которую вам дали бы только при условии, что за месяц не найдется кто-то получше? — «Хотим посмотреть еще кандидатов» – это не отказ. Но и не оффер. Это неопределенность. И она работает против вас ровно до тех пор, пока вы соглашаетесь находиться в ней без дедлайна. А к вам возвращались с ответом после такой фразы? Сколько пришлось ждать?

❄️ Разбор задачи с собеса про заморозку подписки Формулировку задачи оставил постом выше, поэтому сразу к разбору. Главная ошибка – услышать «проверить гипотезу» и сразу побежать в A/B. Эксперимент здесь может оказаться дорогим решением в лоб. Чтобы увидеть не только краткосрочный эффект на выручку, но и последствия для удержания и LTV, его придется вести достаточно долго. При этом ошибка с решением убрать заморозку потенциально стоит дороже, чем ошибка с решением ее оставить. Сначала нужно понять, что именно мы пытаемся измерить. Продакт утверждает: «Без заморозки эти пользователи просто продолжали бы платить». Проблема в том, что это контрфакт. Мы не знаем, что произошло бы с тем же пользователем без заморозки. Вариантов минимум три: -> продолжил бы платить – тогда заморозка каннибализирует выручку; -> отменил бы подписку совсем – тогда заморозка спасает будущую выручку; -> отменил бы и вернулся позже – промежуточный сценарий. В более широком смысле наличие заморозки может влиять еще и на решение оформить подписку в целом. Поэтому «заморозкой пользуются 8%» и «средний срок – 2 месяца» сами по себе ничего не доказывают. До эксперимента нужно провести ресерч. Первый вопрос – в какой момент пользователь выбирает заморозку? Если большинство сначала идут отменять подписку, а затем выбирают паузу вместо отмены – это аргумент в пользу того, что механика работает как удержание. Если же люди сами находят заморозку в настройках и регулярно используют ее как способ не платить за периоды простоя – это уже сильнее похоже на каннибализацию. Дальше посмотрел бы, что происходит с пользователями после разморозки: какая доля продолжает платить, сколько из них реально возвращаются в продукт, а не просто забывают отменить подписку, какая доля отменяет ее после разморозки и как часто пользователи замораживают подписку повторно. Можно также попробовать подобрать похожих пользователей через matching / PSM и сравнить метрики тех, кто пользовался и не пользовался заморозкой. Это не даст полноценной причинной оценки, но поможет понять направление и примерный масштаб эффекта. Если ресерча недостаточно для принятия решения, можно переходить к A/B. Control – текущая механика. Treatment – заморозки нет. И ключевая ошибка здесь – смотреть только на краткосрочные метрики. Без заморозки выручка на коротком горизонте, скорее всего, вырастет. Но если пользователи начнут чаще отменять подписку и хуже возвращаться, на длинном горизонте эффект может стать отрицательным. Поэтому основной вопрос – что происходит с выручкой на достаточно длинном горизонте. Будем смотреть Revenue, Retention, реактивации и отмены на горизонте 3+ месяцев, а на их основе оценивать долгосрочный эффект на LTV. При этом финальное решение необязательно будет бинарным. Самая интересная рекомендация – перенести заморозку во flow отмены. Тогда кнопку видят именно те, кто уже собирается уходить, а не все пользователи подряд. И задача превращается из: «Нужна ли нам заморозка?» в: «Кому она спасает подписку, а кому просто дает возможность временно не платить?» — Именно это и проверяют на собесе: не только умеете ли вы задизайнить A/B, но и как вы мыслите: видите ли риски и ограничения, умеете ли выбрать оптимальный способ проверки гипотез. А если хотите больше подобных разборов продуктовых кейсов на канале – поддержите пост огоньком 🔥 Это моя любимая рубрика.)

❄️ Популярная задача с собесов на заморозку подписки Есть задачи, которые кочуют из компании в компанию. Эта одна из них. И несмотря на кажущуюся простоту, на ней регулярно сыпятся кандидаты: Вы продуктовый аналитик в подписочном сервисе с ежемесячной оплатой. В управлении подпиской есть функция «заморозки». Вместо отмены пользователь может поставить подписку на паузу на срок до трех месяцев. Списаний в это время нет, доступ к сервису приостанавливается. После окончания заморозки подписка автоматически возобновляется. При желании пользователь может восстановить ее раньше. К вам приходит продакт и говорит: «Давайте уберем заморозку. Без нее эти пользователи просто продолжали бы платить. Мы сами сделали кнопку "не плати нам" и теперь режем себе выручку». В подтверждение он приносит две цифры: -> заморозкой пользуются 8% активных подписчиков; -> средний срок заморозки – 2 месяца. Вопрос: как вы будете проверять гипотезу продакта? Небольшая просьба: подумайте сначала, каких данных вам не хватает и какие вопросы вы бы задали продакту. Я дам доп. вводные в комментариях. На реальном собеседовании именно этот момент часто отличает сильный ответ от среднего. Кандидат, который сразу начинает предлагать решения, обычно проигрывает тому, кто сначала выяснил, какую проблему мы действительно решаем. В понедельник вторник я предложу свой вариант решения: покажу, как я двигаюсь по ней сверху вниз, где спрятана главная ловушка и по каким критериям интервьюер оценивает ответ. А пока делитесь своими мыслями в комментариях 👇

🔄 Как изменились собесы для аналитиков в 2026 году За последний год они стали не столько сложнее, сколько требовательнее к качеству мышления. Дать правильный ответ уже недостаточно. Нужно решать быстро и точно, показывая ход рассуждений. Сразу оговорюсь: ниже не исследование рынка, а мои наблюдения из общения с сотнями кандидатов и нанимающими руководителями. Процессы везде разные, но эти шесть изменений я вижу все чаще. 1️⃣ Техническая база стала входным фильтром Решить задачу на SQL, Python или теорвер уже не достижение. Нужно сделать это быстро и оптимально, учесть пограничные случаи и объяснить, почему выбран именно такой подход. При этом идеально решенная задача сама по себе не сделает вас сеньором. А вот заваленная легко приведет к отказу. Технический блок все чаще работает как проверка «база есть или нет». Грейд определяют дальше. 2️⃣ Грейд в продуктовой аналитике определяют кейсы Накидать метрики и гипотезы из головы недостаточно. Смотрят на то, как вы структурируете задачу в условиях неопределенности, задаете уточняющие вопросы, связываете метрики с бизнесом, замечаете риски и ограничения, объясняете свой выбор. Именно здесь становится видно, кто перед интервьюером: начинающий аналитик, крепкий мидл или человек, способный самостоятельно и от начала до конца вести сложные продуктовые задачи. 3️⃣ В некоторых воронках появились AI-интервью Это отдельный этап в начале отбора, который проводит AI-агент. Обычно это типовой набор вопросов по SQL, Python, метрикам, статистике и опыту. Вопросы довольно простые, а диалог ощущается поверхностным. Содержательной пользы кандидату такой этап почти не дает. А для компании это дешевый способ сократить число людей, доходящих до живого интервью. Относиться приходится как к любому фильтру: раздражает, но без него дальше не пустят. 4️⃣ Стали чаще спрашивать, как вы работаете с AI Ответ «активно использую LLM» уже никого не впечатляет. Работает конкретика: для каких задач использую, вот пример, где это ускорило работу, вот как перепроверял результат и какую ошибку модели нашел. Ценят не того, кто копирует ответы модели, а того, кто понимает, где ей нельзя доверять без контроля и как проверить ее ответы и расчеты. В конце концов, именно вы отвечаете за конечный результат. Чем умнее и доступнее становятся модели, тем ценнее умение оценить качество ответа, а не просто его получить. 5️⃣ Стирается грань между дата- и продуктовыми аналитиками Раньше аналитик данных отвечал за источники, выгрузки, отчетность и ad-hoc-задачи, а продуктовый – за метрики, гипотезы и эксперименты. Сейчас, особенно в продуктовых компаниях, от кандидатов на позиции Data Analyst все чаще ждут продуктового мышления: умения работать с метриками и гипотезами, проектировать A/B-тесты и связывать анализ с бизнес-решениями. Вопросы на собеседованиях становятся почти теми же. Одного SQL и умения собрать дашборд уже мало – важно понимать, зачем проводится анализ и к какому решению он должен привести. 6️⃣ Рынок продолжает смещаться в сторону работодателя Компании выбирают тщательнее, а процессы найма стали дольше и жестче. На одну позицию часто рассматривают сразу несколько сильных кандидатов, поэтому мало просто соответствовать требованиям или иметь стаж. Теперь оценивают не только относительно вакансии, но и сравнивают с теми, кто проходит собеседования параллельно. Можно хорошо пройти все этапы и все равно получить отказ – не потому, что вы недотягиваете до ожидаемого уровня, а потому что кто-то оказался чуть структурнее, точнее или ближе к текущим задачам команды. — А что изменилось по вашим наблюдениям? Что стали спрашивать чаще, а какие секции почти исчезли?

⏸️ Досрочно останавливаем A/B: подглядывание или нет? Классика жанра. Тест идет третий день, денежная метрика упала на 8%, p-value уже 0,03. Менеджер давит: «Надо останавливать, мы теряем деньги!» Аналитик отвечает: «Нельзя подглядывать, нужно дождаться выборки!» Но подглядывание ли это? Есть разница между подглядыванием как нарушением методологии проведения A/B-теста и мониторингом как проверкой здоровья эксперимента. Классический Fixed Horizon подход говорит: зафиксируй размер выборки заранее и дождись ее, прежде чем принимать решение о результате эксперимента. Но это не значит, что нужно запустить тест и открыть дашборд только через две недели, когда выборка наберется. Вот тут и проходит грань. Это мониторинг, и тест стоит завершить досрочно, если: 🔹 обнаружен баг – изменение работает не так, как было задумано; 🔹 возник SRM и проверка показала проблему с рандомизацией; 🔹 нарушилась работа логирования или часть данных потерялась; 🔹 коллизия с параллельными экспериментами делает результат неинтерпретируемым; 🔹 метрика пробила заранее установленную красную линию допустимых потерь. Это подглядывание, если: 🔹 каждый час проверять обычный p-value и остановить тест, как только он станет меньше 0,05; 🔹 перебирать вторичные метрики, сегменты и срезы, пока где-нибудь не появится значимый результат; 🔹 менять правила фильтрации выбросов после того, как увидели результат. Что делать в исходном примере с падением денежной метрики на 8%? Если падение на 8% пробивает заранее установленную красную линию, эксперимент останавливаем, чтобы ограничить возможный ущерб. Но такая остановка сама по себе еще не доказывает, что изменение действительно ухудшает метрику. Если обнаружена техническая или методологическая проблема – тоже останавливаем. Если порог не пробит, технических и методологических проблем нет, тест можно продолжать до набора запланированной выборки. Промежуточный p-value 0,03 в Fixed Horizon подходе сам по себе не является основанием для остановки. А если хочется корректно принимать решения по ходу эксперимента, это нужно заранее заложить в дизайн. Например, использовать Sequential Testing или другой подход с формальными правилами досрочной остановки. Смотреть на данные идущего A/B-теста – нормальная практика мониторинга. Ошибка начинается тогда, когда промежуточные результаты заставляют вас менять правила принятия решения, которые не были заложены в дизайн эксперимента.

🤔 Раньше я думал, что понимаю бизнеc Многие идут в продуктовую аналитику, чтобы быть ближе к бизнесу. Растить продукт, драйвить метрики и выручку, влиять на решения. Девять лет назад я выбрал это направление ровно по такой причине. Но что значит «приносить пользу бизнесу», я понял не тогда, когда набрался опыта в найме и стал хедом. По-настоящему это пришло только со своими продуктами. В частности, онлайн-школой. И вот почему: 🔸 В найме ты ничем не рискуешь Если твоя гипотеза не выстрелила, то бизнес потерял месяц бюджета команды. Ты же потерял ноль. Зарплата все равно придет на карту. А в худшем случае сменишь работу. И обычно с повышением. Провал, за который не платишь, ничему не учит. Я почти не помню своих неудачных гипотез из найма. А из своего дела помню каждую, потому что каждая стоила денег. И выигрыш ты тоже не забираешь. Поэтому рационально искать не то, что сработает, а то, что можно защитить на ревью. Ведь именно так устроены стимулы. 🔸 Ты не видел, как деньги появляются с нуля Ты приходишь в готовый денежный поток и оптимизируешь его на проценты. Сделать так, чтобы поток вообще возник, это принципиально другая задача. Юнит-экономика в найме остается упражнением в табличке. В своем деле от нее зависит, доживешь ли ты до следующего месяца. 🔸 Доступ к разговорам о бизнесе не равен пониманию бизнеса Ты сидишь на встречах с C-level и уверен, что находишься внутри. Но «быть ближе к бизнесу» на практике означает всего лишь быть ближе к людям, которые принимают решения. Но не к последствиям этих решений. Настоящая метрика твоего успеха измеряется не деньгами компании, а восприятием тебя: сложность задач, видимость, отношения со стейкхолдерами. Можно построить отличную карьеру, ни разу не заработав компании ни рубля. 🔸 В своем деле обратная связь другая Ты на своей шкуре ощущаешь, как действие превращается в результат. И как бездействие превращается в его отсутствие. Никому нельзя предъявить красиво оформленный отчет вместо выручки. Если бы я вернулся в найм, я бы совсем иначе смотрел на выручку компании. Видел бы, что реально двигает деньги, а что остается корпоративным булшитом: двигание задачек на доске, встречи, на которых ничего не решается, отчеты, которые никто не открывает, но все исправно просят. — Что в вашей компании создает больше всего видимости работы при наименьшем влиянии на деньги? У меня безусловный чемпион это регулярные отчеты, которые открывает один важный человек раз в квартал.

📹 «Ты не против, если мы запишем собес?» Работодатель хочет записать собес – норм или стрем? На самом деле, может быть и так, и так. Я сам был по обе стороны. Когда нанимал, просил записать интервью, чтобы показать команде и обсудить кандидата вместе. А когда не мог прийти на собес, но участвовал в решении – запись показывали мне. 📝 Причины для записи обычно скучные и рабочие: -> Интервьюеру хочется слушать тебя, а не строчить конспект. А расшифровку сделает бот вроде Otter или Fireflies; -> Ее посмотрят те, кто не смог прийти: нанимающий менеджер, будущий тимлид, еще кто-то из команды; -> Порой она тебя защищает: решают по тому, что ты реально сказал, а не по чьим-то заметкам и «ощущениям». Так что сама по себе запись не красный флаг. Зависит от того, КАК компания это делает. ✔️ Норм, когда: -> Вас заранее предупредили и спросили согласие; -> Объяснили, зачем нужна запись; -> Сказали, кто получит доступ к записи и сколько хранится запись; -> Отказ от записи не влияет на результат собеседования; -> Без отдельного согласия ее не пустят на обучение AI, публикацию или что-то ещё. ❌ Стрём, когда: -> Запись включают без предупреждения; -> На «зачем?» отвечают «у нас так принято»; -> Непонятно, где будет храниться и кто ее увидит; -> Отказаться формально можно, но вам сразу дают понять, что это «подозрительно»; -> Запись хотят загрузить в сторонний AI-сервис, не объясняя, как будут использоваться ваши данные; -> Компания собирается анализировать мимику, голос, эмоции или «уровень честности» кандидата. 🔖 Красный флаг – не факт записи, а отсутствие прозрачности и невозможность спокойно отказаться. И абсолютно нормально заботиться о своих данных. Даже если тебе нечего скрывать. А ты бы согласился на запись собеса?

🎯 В чём идея Uplift-моделирования? Привычные ML-модели отвечают на вопрос: «Кто с большой вероятностью купит?» или «Кто может уйти?» Но бизнесу часто нужен ответ на другой: «На кого подействует наше воздействие?» И это разные задачи. Например, мы хотим удержать пользователя и отправляем ему скидку на следующий заказ. Возможны четыре сценария: 🔸 Он остался бы и без скидки (Sure Things) – мы потеряли часть маржи, подарив скидку; 🔸 Ушел бы в любом случае (Lost Causes) – скидка не дала результата, зря потратили бюджет на доставку скидки; 🔸 Без скидки остался бы, но коммуникация вызвала негативную реакцию (Sleeping Dogs) – навредили; 🔸 Без скидки ушли бы, а благодаря ей остались (Persuadables) – именно их мы и хотим найти 🚀 Модель оттока ищет пользователей с высокой вероятностью ухода. Но среди них могут быть и Persuadables, которых можно удержать, и Lost Causes, на которых скидка не подействует. Uplift-модель ищет тех, чьё поведение изменится именно благодаря воздействию. Формально: Uplift = P(целевое действие | воздействие) − P(целевое действие | без воздействия) То есть нас интересует разница между двумя сценариями для одного пользователя: что произойдёт, если на него воздействовать, и что произойдет без воздействия. Одновременно наблюдать оба сценария для одного и того же пользователя невозможно, поэтому uplift оценивают на данных экспериментальной и контрольной групп в А/В. Два основных подхода к реализации: 1️⃣ Meta-learners – превращают обычные ML-модели в модели оценки эффекта. Например, S-learner, T-learner, X-learner и др. 2️⃣ Uplift-деревья – разделяют пользователей по различиям в реакции на воздействие. Uplift Random Forest, Causal Forest. Если воздействие стоит денег, может раздражать пользователей или по-разному работать на разных сегментах, недостаточно предсказать поведение. Нужно предсказать, как оно изменится именно из-за вашего решения. И с этим помогает Uplift-моделирование.

🌀 Я понял, что мешало мне в работе последние девять лет Последние две недели я провел в фридайвинг-кэмпе в Каше (Турция). Нырнул всего на 60 см глубже, чем прошлый рекорд: 30.6 метра вместо 30.0. На первый взгляд – провал. Ехал за метрами, а привез сантиметры. Но я осознал две важные вещи. Не про воду, а про себя: ☝️ Глубину нельзя взять силой Я пробовал. Это не работает. Стоит напрячься, и давление растет, зажимается горло, накрывает ощущение удушья. Дальше два сценария: либо разворот назад, либо баротравма. Работает ровно обратное. Это быть максимально расслабленным. Не в начале, не в конце, а на всем пути. Буквально позволить воде утягивать тебя на глубину. ✌️ Не надо продавливать себя на максимальной глубине Лучше сделать шаг назад, спокойно отработать все в комфортных условиях и вернуться глубже уже с уверенностью в каждом движении. — В работе мы тоже под постоянным давлением: дедлайны, ожидания, ответственность. И пока ты напряжен, все дается с трудом. Продуктовый кейс на собесе, где от волнения плывешь в мыслях, структуре и метриках. Пытаешься взять оффер количеством собеседований. Получить признание и повышение переработками. По сути та же физика. За девять лет я много раз видел и испытывал на себе, как люди пытаются пробить карьерный потолок силой. Больше переработок. Больше параллельных проектов и ответственности. Больше рабочих ночей вместо сна. А потом выгорают на своей максимальной глубине. Я думал, мне не хватает усилий. Оказалось, все ровно наоборот. Ведь порой все, что нужно, это сделать шаг назад. Спокойно вернуться в зону уверенности и отработать слабые места. И это не откат. Это самый быстрый путь вперед. И по факту, этот кемп стал одной из лучших моих поездок. Потому что дело было не в цифре: → Я впервые нырял в открытой воде и поборол страх падения в синюю бездну без осязаемых стен; → Подтянул старые навыки на разных упражнениях; → Попробовал новые техники и снаряжение; → И впервые в жизни понырял с открытыми глазами, без маски. Никогда не думал, что так вообще можно! Все это даст мне новые глубины уже совсем скоро. И, кажется, не только под водой. Поэтому вопрос к тебе. Что ты чаще спрашиваешь себя: «как поднажать?» или «где я сейчас зажат?»

🎯 6 лайфхаков поиска прокси-метрик для A/B Частая проблема в A/B тестах: ключевая метрика нечувствительная и/или медленная. LTV365, ARPU90, повторная покупка – дисперсия высокая, эффект маленький, а ждать месяцы или год никто не готов. Поэтому хочется найти прокси – более быструю и чувствительную метрику, которая предскажет движение ключевой в будущем. В карточках выше я собрал весь свой опыт подбора первичных кандидатов на прокси в 6 лайфхаков. А если ты находишь лайфхаки полезными, то поддержи пост огоньком 🔥. Буду делиться еще!