Сенаторов.head()

А как вы расширяете кругозор? p.s снова продаю клода 😎 Я честно пытался подсесть на подкасты аналитиков и айтишников, смотреть умные видосы про тренды в айти и бизнесе. Пробовал Lenny’s Podcast, видосы Y Combinator, разные интервью с умными ребятами и проблема одна — почему-то не цепляет 😒 Все это требует каких-то лишних усилий и воспринимается как нагрузка, которую после рабочего дня хочется избежать. Теперь у меня решение это проблемы идет по-другому — я общаюсь с клодом. Стоит услышать краем уха что-то новенькое, я сразу бегу в клода. Недавно так было со скиллами, я вообще пропустил это и потом нагонял своими расспросами 🤔 Есть один нюанс — это работает, только если у вас есть здоровое любопытство и желание. Я думаю, это было причиной, почему мне не заходили умные видосы. Этим двигало не любопытство, а желание хаслить и продуктивничать ☠️ Когда мне что-то интересно, я свободно общаюсь с клодиком как с другом и каждый раз узнаю чуть больше о мире. Надо только привычку выработать. И жизнь станет попроще 😶

Сколько аналитиков нужно, чтобы пользователь совершил покупку в 1 клик? Как учили Алису находить лучшие цены? 22 августа в разберём эти и другие вопросы на Welcome Time* — офлайн-встрече с командами Яндекс Поиск и Независимый Ecom. 🗳 Кого ждём: Data-аналитиков и продуктовых аналитиков с опытом работы на Python от трёх лет. На встрече разберём реальные кейсы и расскажем, как устроена аналитика в командах. После докладов вы сможете задать вопросы спикерам и познакомиться с коллегами из индустрии. Для желающих — проведём диагностику навыков по Python и SQL. Интервьюер подсветит сильные стороны и зоны роста. Хороший результат можно будет зачесть как одну техническую секцию, если решите пройти собеседование в Яндекс. ♾ Подробная программа и регистрация: https://yandex.ru/project/events/welcometimes-all

Всегда держите историю в рукаве У меня июль выдался месяцом найма 😳 Было проведено, наверное 10-15 собесов на открытые позиции у меня в команде И есть одна вещь, которую на собесах очень часто упускают или недооценивают. Вот у вас есть опыт, у вас есть харды, вы делали исследования, A/B-тесты и дашборды — но сможете ли вы правильно этот опыт донести? 🤔 Очень часто, когда я задаю вопрос: "Расскажи о проекте, который считаешь самым крутым и значимым?" или "Какая самая челленджовая задача у тебя была за последнее время?" — то кандидаты сразу встают в ступор. Я понимаю, когда долго работаешь, многие задачи сливаются и сложно выделить (сам с таким сталкиваюсь когда подаюсь на повышение), поэтому важно имено ЗаГоТоВоЧкИ 👊 Просто подготовьте перед собесом несколько проработанных историй, которые раскроют ваш опыт в лучшем виде. Формат для этого часто используют STAR (situation, task, action, result), можете прочитать про него, это прям база по подготовке к собесам ✏️ В чем плюс подготовить историю заранее: 🔘 Вы сможете дать контекст за 1 минуту, не размазывая на 10 минут 🔘 Можно сразу подчеркнуть всю техническую сложность, методы, как подходили к задаче 🔘Подчеркнуть умение работать со стейкхолдерами. В идеале, если там даже был какой-то конфликт, который вы разрешили И все! С вас пару часов подготовки, а шансы хорошо пройти собес с нанимающим менеджером уже сильно выше. Вот список самый частотных вопросов, для которых можно истории подготовить: 1) Расскажи про проект, которым больше всего гордишься / который считаешь самым значимым 2) Самая сложная или челленджовая задача за последнее время 3) Проведи меня по A/B-тесту, который ты вёл от гипотезы до раскатки 4) Случай, когда данные показали неожиданный результат — противоречащий интуиции или ожиданиям стейкхолдеров 5) Как ты через анализ повлиял на конкретное продуктовое решение? 6) Ситуация, когда ты не согласился с PM или руководителем — как отстоял позицию и чем закончилось 7) Проект, который не выстрелил или дал нулевой результат — что ты из этого вынес? 8) Расскажи про самую большую свою ошибку? 9) Как приоритизировал задачи, когда их оказалось больше, чем позволяет ресурс? С вас реакция и тогда у вас в поисках все будет как у кота в галстуке 💼

Пойдете на ИТ-Пикник? Я вот с тех пор как переехал в Москву, каждый год хожу на пикник, потому что это классный способ развеяться в летний денёк 😎 Я конечно люблю вайбово сидеть на травке, болтать и слушать музыку от артистов, но если вы хотите поучаствовать в активностях, то лучше приходить пораньше, чтобы избежать очередей. А еще там будут лекции и воркшопы! В том числе по аналитике! Самое забавное, что я снялся в рекламе ИТ-Пикника, вы даже могли видеть ее в просторах интернета и в вк 😶 8 августа в Москве Вот сайт: it-picnic.ru Приходите! 🥳

Сорри, что не постил две недели собирал лего банкомат 😳 Эту красоту я купил у нас за внутреннюю валюту (мне ведь мало мерча). Но банкомат! Это что-то новенькое. В идеале конечно вообще воспитывать у детей любовь к финтехам именно через такие игрушки. Следующий шаг — купить низкополигональные деньги из gta vice city для домашнего уюта 😎

Ребята, LinkedIn что за зверь вообще 💼 Признаюсь честно — я всегда думал, что линкедин это про corporate brainrot slope и это просто смешно. Вся соцсеть ощущалась по вайбу, как что-то среднее между microsoft teams и skype Вы и без меня понимаете, сколько мемов было про эти вылизанные посты и «what divorce with my wife taught me about B2B sales» 😶 Но оказалось алгоритмы работают 😳 (невероятно) Пару месяцев периодически и захожу, и вот уже: 🔘Посты написанные с душой про интересности корп мира 🔘Холивары, про разные кейсы из мира найма (например, тот случай, когда девушке отказали, потому что в тг у нее на аватарке был мем с матами) 🔘Посты, которые комментят всякие лиды аналитики из топ бигтехов по миру 🔘Реально попадают посты с релевантными вакансиями. У меня каждый день кто-то из моих коллег тинькофцев постит, что ищет себе в команду аналитиков Ура, теперь еще одно место, куда я могу зайти с утра подумскроллить 😎

Давайте чуть-чуть лингвистики Пару месяцев назад я за час навайбкодил себе бота для перевода слов с инглиша на русский Супер легкий бот, который делает максимально простую вещь — просто переводит. Зачем я его сделал? Яндекс переводчик очень плохо работает, вылетает и тормозит с впн'ом, меня это бесило 🤔 Тем не менее, я дал своему боту еще одну прикольную фичу — для каждого слова он определяет его частотность по Zipf Scale. Это что еще за зверь? Приготовьтесь, я к вам снова с аналитикой 🧑‍🍳 Джордж Ципф, лингвист из Гарварда еще сто лет назад увидел интересную закономерность: частота слова оказывается обратно пропорциональна его рангу. Второе слово используется в два раза реже первого, а третье в три раза реже и так далее. В английском «the» занимает ~5–7% всего текста, дальше идёт крутой обвал и очень длинный хвост 😳 Объяснял он эту закономерность обычной ленью — ведь это компромисс между ленью говорящего (хочется одно слово на все случаи) и ленью слушающего (хочется отдельное слово на каждый случай). Равновесие этих двух сил, мол, и дает степенное распределение 😶 А совсем недавно, в 2014 лингвисты вывели Zipf Scale, где по формуле определяют, сколько раз слово появляется в 1,000 рандомных слов, в 10,000 рандомных слов, в 100,000 рандомных слов и тд. Здесь такая же ранговая логика, только завернутая в логарифм. Эта фича помогает мне забивать на очень редкие слова и запоминать частотные слова, которых я не знал 👊 Все это дело я потом закидываю в приложуху, где создаю карточки с английскими словами (я использую Noji, но есть еще бесплатная Anki). С момента создания бота я выучил 175 новых слов, что для моего C1 немало! 😎 Можете тоже попользоваться! @fellow_dicky_bot

Что делает техническую секцию стрёмной? За свои 5 лет в аналитике я много собесился и много собесил — выработалось понимание, что точно булщит и душниловка. Хочу с вами поделиться наблюдениями! ▶️Душнить за синтаксис Ох, сколько я задачек порешал по SQL и Python за все свои собесы. И я скажу честно — когда начинают душнить за синтаксис у меня очень портится впечатление о компании (все таки интервьюер — это лицо компании в процессе отбора) 👀 Можно забыть, что писать внутри функции date_trunc() или как достать элементы словаря в питоне. И это не критично — потому что лечится одним запросом в гугле. Важнее, что ты понимаешь, что делаешь, а не случайно пропускаешь запятую. Если вы интервьюер, просто укажите на неточность в синтаксисе и идите дальше. В дивном новом мире клода мы сложный код уже давно не пишем сами, таковы реалии рынка. Спрашивайте понимание, а не синтаксис 👊 ▶️Душить теорией и задачками Я не решу сейчас ни одной задачки на монетку, светофор или еще какую-нибудь фигню. Просто потому что я не работаю в отделе подбрасывания монеток. И на работе не кубики бросаю, а стараюсь денег бизнесу заработать 😶 Хотите проверить знания теории? Дайте одну из задачек на нестандартные АБ-тесты, подсуньте кандидату парадокс Симпсона, попросите объяснить продакт менеджеру зачем нужна ЦПТ 🧑‍🍳 Эти задачки на шарики и кубики просто не раскрывают то, что сегодня мы ищем в идеальных кандидатах (и в конце концов задачи можно просто нарешать и тогда они будут плохой проксёй к реальным знаниям) ▶️Гонять аналитика по алгоритмам Мне кажется, круто знать питон на уровне дюжины базовых конструкций и уверенно рулить Pandas — вот это рабочий скилл. Но прогонять сложные алгосы и еще чтоб прожаривали за "О большое" (вычислительная сложность алгоса) и оптимальность, ну это ту мач. Бог с ними с алгоритмами, вот у вас есть вакансия и там ты примерно понимаешь стек. Есть позиции, где в разных пропорциях Python, SQL, ML, A/B-тесты и все остальное. Вот и было бы круто делать упор на разные вещи, а не всех по дефолту гонять через питоновские задачи. Угадайте, какая крупная компания частенько собирает 3/3 🤨 Я за отбор без фанатизма, я за здравый смысл и здоровый найм 🎧

Какие еще харды бывают у аналитика Я вот часто пишу про A/B тесты, продуктовое мышление, статистику и метрики — а один пласт хардов все время упускаю Я говорю про харды в DE (Data Engineering). Я по работе часто общаюсь с DWH и конечно бывает сложновато общаться с ними на одном языке Разбираться в дата-инжиниринге очень полезно. Сразу расширяется скоуп возможных компетенций для отбора по вакансиям И я конечно не пишу вам это просто так, у меня конкретное предложение) У меня есть друг Дима Кузьмин и он дата инженер. Наш первый совместный пост вышел еще в далеком 2024, с тех я его читаю и это помогает как минимум оставаться в контексте Рекомендую вам зайти на его канал и глянуть интересные материалы: ▶️ Про 5 важных SQL проверок данных ▶️ Про путь данных от источника к витрине ▶️ Кайфовая статья про SQL собеседования на Stepic ▶️ И статья о том, какой карьерный путь у DE специалистов Будем растить экспертизу не только вглубь, но и вширь! 🧑‍🍳

А ведь хорошо за МКАДом... но только когда ездить на работу не надо каждый день 😶 Вот шутки шутками, а я полгода уже живу достаточно далеко от центра. То, что я живу за мкадом, это я конечно сильно сказанул. У меня в трех минутах метро, шатаут метро Физтех 😎 Это было прям выигрышным решением, я считаю. Во-первых, здесь просто под окном бескрайний лес и конец Капитолия, на выходных даже тяги нет ездить куда-то, когда можно погулять и на районе Во-вторых, очень выгодный размен доп квадратных метров на деньги. В самом городе, сколько не смотри, везде за оверпрайс эти евродвушки, где из рабочего места только модный журнальный столик...💻 (арендадатели жилья среднего класса подумайте о целевой аудитории, это часто айтишники). Наличие рабочего места это было блокирующим фактором для меня при поиске жилья 👊 Ну и в третьих, конечно не так шумно. Звуки машин меня убивают, честное слово, а адреса с окончанием на "шоссе" или "проспект" вызывают тряску. Окно во двор — это одновременно и московский роскошный максимум, и название крутого фильма Хичкока, который я очень рекомендую Я планирую все дальше по жизни отъезжать от МКАДа, в следующий раз, надеюсь, это будет Италия, а потом может еще дальше, кто знает 😎

Ищу продуктового аналитика в Т-Банк! Вот так вот, да! Теперь я сам нанимающий менеджер, которому нужно найти талантливых аналитиков к себе в команду — и где искать, если не в этом канальчике! 😎 Я лидирую команды, которые занимаются экосистемным вовлечением — мы пытаемся сделать клиентов лояльными и активными 😀 У меня есть два трека, куда я нанимаю ▶️ Геймификационные механики Даем клиентам игровые задания в разных форматах по всему Мобильному Банку Задача — дать в нужное время нужному клиенту нужное задание — чтобы максимизировать профит банка ▶️ Вовлечение и кросс-продажи У нас есть десятки нативных форматов в Мобильном Банке и через них мы продвигаем наши продукты: от баннеров до интерактивных бабблов. Задача — сделать эти форматы еще более эффективными Идеальный профиль кандидата: — Умеете в SQL и Python — Матстат для A/B тестов — Продуктовое мышление (сможете из головы назвать для любой компании 10 продуктовых метрик и приведете примеры 1-2 инициатив, чтобы их поднять) — Быстро учитесь) Что будем делать: — Много A/B тестов — Продуктовые ресерчи — Дискавери и поиски инсайтов из данных Больше про задачи продуктового аналитика и стек можете на лендосе почитать Опыт работы: Приоритетно на вакансию смотрим кандидатов 2+ года опыта работы, но если у вас даже чуть меньше, но вы чувствуете, что мы с вами смэтчимся, то пишите 😎 (кстати если у вас есть лидовский опыт, то тоже пишите, такое нужно!) Все сюда — @senatorous Обнял! 💼

A/B без A/B (ч.2) В прошлом посте я рассказал про разные способы проводить А/В тесты без А/В тестов, но остался подвешенным вопрос — а когда эти методы нужны вообще? А/В тесты лучше всех, так давайте всегда использовать — а вот нет 😶 Топ причин, почему мы не сможем провести A/B тест: ▶️ Этика/законы В мире денег и такое встречается)) Говоря технически, мы не всегда можем выделить рандомный контроль/тест для которых мы: отключим кэшбэки, ухудшим цену, насуём багов, или сделаем сотрудников поддержки грубиянами. Классический пример: нельзя заставить людей курить, чтобы доказать вред курения (поэтому социальные исследователи изощряются с другими методами Causal Inference) ▶️ Неделимый тритмент — нельзя раскатить на часть Тритмент (treatment) — это наше воздействие. И часто мы не можем воздействовать на Ваню и скрыть воздействие от Серёжи. Это часто бывает с ТВ-рекламой, ребрендингами, новыми законами, новыми комиссиями — в общем чем-то глобальным. И мы не можем это глобальное разбить на куски для честного А/В теста 🔪 ▶️ Крупная единица и мало наблюдений Вы раскатили вашу фичу на 5 городов-миллионников. Ваша единица наблюдения — это не 5млн человек, это просто 5 (городов). Тут стат-критерии посмеются только 😳 У нас в Тиньке я как-то погружался в аналитику банкоматов. Там с единицами наблюдения и А/В тестами все тоже очень несладко Для гео-методов хорошо могут сработать Synthetic control, Matched market testing (когда находим «близнецов» по городам), а если изоляция по гео невозможна, можно попробовать разбивать по времени — это метод Switchback ▶️ Интерференция и сетевые эффекты Представьте, вот вы раскатили фичу и клиенты из тестовой группы «заражают» клиентов из контрольной. — Один рассказал своим друзьям о новой промоакции, а они были в контрольной группе — Два кореша переписываются, но у одного из них вместо нового эмодзи отправляется ⍰ — Представьте, что водители Uber из теста и контроля дерутся за один пул клиентов. Из-за фичи одна из групп может отжирать клиентов у другой и оценить эффект может быть сложнее. Неважно: сетевые эффекты, баг, двухсторонние рынки — интерференция генерится по ряду причин, и это может мешать честному А/В ▶️ Слишком дорого делать контроль На самом деле частная причина на практике! Часто на ухудшающие тесты надо перелопатить всю айтишную архитектуры, чтобы отключить клиенту какие-то фичи. Или при разработке новой сложной фичи предусмотреть, чтобы она не работала у части людей — может стоить очень дорого в человеко-часах разработки. И тогда надо просто трезво оценить профит от полученных знаний и риски. И если цена разработки выше, то забить и применить другие методы Causal Inference Мир А/В тестов полон неожиданностей! Третьей части не будет, лонгриды жесть. Я подумаю, что еще накопать в А/В, а с вас наш аналитик-поваренок за пост! 🧑‍🍳🧑‍🍳🧑‍🍳

Плата за риск Если вы ломаете голову, что посмотреть на этих выходных — гляньте документалку о мексиканском финтехе Plata 😎 Его основали бывшие топ-менеджеры Тинька при активном участии Олега Тинькова. Plata уже достиг оценки $5 млрд — быстрее любого необанка в истории 😎 Ух какой же крутой фильм получился!! Там и про талантливых и амбициозных россиян, которые с головой окунулись в создание чего-то нового и большого 👊 И про очень заряженных мексиканцев, которые делают настоящий прорыв в своей стране И про забавные моменты межкультурной коммуникации, когда мексиканцы пытаются познать истинную суть «slavic face» и глубину нашего «вjobывать» 😶 Завидую белой завистью ребятам, и тем моим коллегам и сокомандникам, кто сейчас работают в Plata хочу сказать — так держать! Это очень круто 🙏 российские законы обязывают меня указать, что Олег Тиньков — иноагент

Ёбкость — сущ.; качество, присущее настоящему аналитику Это придумал не я! Но я часто слышал от знающих людей, что аналитик должен быть именно ёбким Поразительно, но это абсолютно рандомное слово, но я прекрасно понимаю, о чем это Но никак не могу придумать, как бы в двух словах описать. ▶️С одной стороны важно быть внимательным и к сути, и к мелочам. Я вот вижу перед собой график с метрикой. Могу оценить его и по целям бизнеса, и по тому, а насколько этим данным можно доверять. Я ёбкий аналитик ▶️С другой стороны я активный участник процесса. Я буквально партнер бизнеса и могу сказать менеджерам, где булщит на метрикодрочерство, а где здравые инициативы. В ревью мне напишут: «был ёбким и справедливым» Мои ресёрчи соответствую принципу MECE (mutually exclusive, collectively exhaustive) и я сделал этот ресеирч именно тогда, когда у бизнеса он болел больше всего. К этим ресёрчам не подкопаться, а все почему? Правильно, потому что аналитик ёбкий Как вам словечко? Не помню, честно, кому дать креды за это словечко, т-банчата пишите в комменты, если вы знаете. Но теперь я его популяризатор

P-value = 0.051? В LinkedIn я наткнулся на пост челика, который решил обсудить — что делать, если у нашего p-value пограничное значение Мне стало любопытно. Хоть у меня на опыте и десятки тестов, но вот пограничные случаи бывают редко. Давайте сразу обозначим: p-value=0.05 это очень условная граница и Фишер сам говорил, что это удобная точка, но она не прибита гвоздями Поэтому глобально, что можно сделать, если вы попали в ситуацию p-value = 0.051 или 0.049: 1️⃣ Вариант 1 «Ну мы очень близко, в целом не рискуем, давайте катить фичу» — с таким подходом вы может угадаете с этой фичей, но на большом горизонте с кучей экспов вы будете чаще ловить ошибку 1-го рода 2️⃣ Вариант 2 «Давайте подержим эксп еще недельку» — так как вы будете смотреть на тех же данных, это форма p-hacking’а. Чтобы избежать этого, вам надо делать поправку на уменьшение уровня значимости, а значит вряд ли вы что-то выиграете от этого 3️⃣ Вариант 3 «Давайте повторим тест и сделаем мета-анализ» — вы катите тест заново и вот у вас два независимых экспа с двумя p-value и вы можете их соединить (см. Stouffers’s Method). Интуитивно: если два независимых экспа показали похожий результат, то это уже верняк Очевидно, что автор склоняет к третьему варианту 😎 Но есть нюанс! Автор о нем умолчал Повторять тесты — дорого 🔪 По времени и по деньгам. Я представил лицо своего продакта, если я предложу ему повторить тест, который мы катили весь последний месяц 😳 А если тесты относительно дешевы, то действительно можно последовать автору. Вот ссылочка на пост в LinkedIn Этим и сложна аналитика — на одной чаще весов неопределенность и хаос, а на другой время и деньги. Наверное, поиск лучшего курса размена и делает нас лучшими аналитиками 🧑‍🍳

Получается я теперь сам стал 💼

А/B без A/B? 🤨 Классика любого курса по A/B — расскажем и про классические экспы, и про Diff in Diff, и про Matching и другие способы провести A/B тесты без A/B тестов Про эти методы могут и на собесе спросить, и у других аналитиков они точно будут на слуху. Так их нужно знать и применять в итоге? Давайте разбираться Есть понятие Causal Inference, а значит оно что-то типо Область статистики и набор методов, которые помогают нам ответить на вопрос "что произойдет, если мы вмешаемся в физический мир?" —Как вырастет retention, если дадим клиенту фичу X? —Заболит ли горло, если переедать мороженое? —Что было бы, если бы вы не ставили мне реакции на посты? (давайте не проверять) И так вышло, что A/B тесты — эталонный способ ответить на этот вопрос. Тут есть и рандомизация 🥰 и фиксация начала воздействия🥰 и еще дизайн, выверенный статистикой 🥰 — одним словом, красотень Ну а что предлагают другие методы? Если супер кратко без подробностей: 🔘Diff in Diff — давайте найдем два похожих тренда и будем влиять только на один. Я раскачу свою фичу в Рязани, а сравнивать буду с Липецком. Оба города оч похожи. Если после раскатки фичи графики в Рязани пошли вверх, то дельта с графиками Липецка — это мой эффект 🔘Matching — давайте найдем похожих людей: скажем, Ваню и Вову. Они одногодки, одного роста, веса, любят кататься на велике и слушать Лану Дель Рэй. Ване подсунем фичу, а Вове нет. А потом по результатам тысяч вань и вов мы оценим эффект нашей фичи. 🔘Synthetic control — я сейчас запущу реактивные электробусы в Москве, и графики поползут вверх. Но с чем сравнить? Я слеплю «двойника» Москвы из взвешенных признаков других городов. Это и будет симуляцией. А разницу между реалом и симуляцией назову своим эффектом. С вас 5 тыщ и идите используйте? Как бы не так Несмотря на всю рок-н-ролльность этих методов, у них есть большие изъяны...Все эти идеи построены на больших допущениях 🔵С Diff in Diff мы никогда не узнаем, подмешался ли как-то в наш эффект фестиваль пирогов, который проходил в Рязани после включения нашей фичи. Или может повлияли еще десятки событий, о которых так же мы узнаем только из рязанских пабликов (запоминаем: нарушение parallel trends) 🟡С Matching мы можем попытаться найти похожих людей, но мы же не можем измерить все. Вдруг Ваня решил потрогать фичу, потому что именно он решительный и любопытный, и мы никак об этом не могли знать (запоминаем: unobserved confounders) 🟣А в случае с Synthetic control моя проблема в том, что Москва одна. Я не могу запустить электробусы в тысяче москв и усреднить результат — поэтому всегда остаётся вопрос: а вдруг это просто совпадение? Эти допущения — это изъяны этих методов. Значит ли это, что мы все равно должны делать только A/B? Снова не все так просто. Эти методы нам еще пригодятся, но в каких случаях — я напишу в след посте, а то пипец лонгрид получился 😎 Ставьте нашего поваренка аналитика за продолжение 🧑‍🍳 И мы узнаем, почему иногда нет другого выбора, как отказаться от A/B теста