AB тесты и все вот про это вот все

Всем привет! А еще мы в SberDevices ищем middle продуктового аналитика в наше ТВ-направление. Резюме можете присылать нашему hr (https://t.me/marinatelyuk) или мне (https://t.me/ealexandr). Ниже описание ⬇️ --------------------------------- Чем предстоит заниматься? ▶️ Помогать продуктовым менеджерам принимать решения ▶️ Формулировать и проверять гипотезы для роста продукта ▶️ Анализировать пользовательское поведение и ключевые продуктовые метрики ▶️ Находить инсайты для улучшения продуктовых и бизнес-метрик ▶️ Работать с воронками, когортным анализом, retention и др. ▶️ Строить дашборды и автоматизировать регулярную отчётность ▶️ Проектировать и анализировать A/B-тесты. Мы ожидаем что вы: ▶️ Имеете от 2 лет опыта в продуктовой аналитике ▶️ Понимаете потребности продукта, умеете трансформировать их в задачи, исследования ▶️ Умеете генерировать и проверять гипотезы ▶️ Понимаете основные группы продуктовых метрик ▶️ Умеете формулировать, обосновывать выводы и презентовать результаты анализа ▶️ Уверенно владеете SQL (сложные запросы, джойны, оконные функции) ▶️ Имеете опыт работы с Python и основными библиотеками для анализа данных ▶️ Понимаете статистики и принципы A/B-тестирования, имеете практический опыт проведения A/B-тестов ▶️ Имеете опыт работы с BI-инструментами. Дополнительным плюсом будет: ▶️ Опыт построения базовых ML-моделей (линейная, логистическая регрессия, случайный лес, CatBoost, кластеризация) ▶️ Опыт построения системы метрик продукта ▶️ Навыки взаимодействия с кросс-функциональными командами.

Ребят, привет! 🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию. В нём собрали качественную и полную базу — на примерах разобрали, как устроены эксперименты и статистический анализ. В общем, внутри всё это нужно, чтобы решения, принимаемые для развития продукта, положительно влияли на целевые метрики. Думаю, что хендбук будет полезен и начинающим аналитикам, и опытным, чтобы освежить в памяти базу. Забрать его можно в боте. Ждём обратной связи! Trisigma — канал про A/B-тестирование #trisigma

Аналитик-инженер Наши устройства и другие системы генерируют большие объемы данных самого разного рода. Необходимо совместно с командой дата-платформы упорядочить данные, настроить процессы и превратить их в удобный инструмент для анализа и визуализации. Твои основные заказчки - это аналитики данных. Что вам предстоит делать? ▶️ Разрабатывать и поддерживать ETL/ELT процессы с использованием dbt/airflow. ▶️ Проектировать и оптимизировать модели в витринном слое. ▶️ Разрабатывать и поддерживать процессы по заполнению мета-данных в дата-каталоге. ▶️ Контролировать качество данных: писать тесты в dbt, осуществлять мониторинг аномалий. ▶️ Документировать данные и процессы (data documentation). ▶️ Адаптировать dbt-core для продуктовых аналитиков. Мы ожидаем, что вы: ▶️ Знаете dbt-core, имеете опыт доработки core/адаптеров. ▶️ Умеете осуществлять оркестрацию с помощью airflow/dagster. ▶️ Хорошо знаете Python. ▶️ Знаете основы хранения данных, различий между БД. ▶️ Отличное знаете SQL и особенности Clickhouse. ▶️ Работаете с git, s3. Будет плюсом: ▶️ Опыт разработки Data Vault. ▶️ Опыт работы с BI. Вакансия на HH

Дата-аналитики Да, мы ищем сразу несколько человек Мы — дата-аналитики виртуального ассистента Салют. В зоне нашей ответственности — метрики качества GigaChat на устройствах SberDevices. В ежедневной работе много Python/SQL, работы с логами, витринами данных, статистики и экспериментов. Что вам предстоит делать? ▶️ Разрабатывать пайплайны для анализа моделей. ▶️ Проводить эксперименты для улучшения метрик базовой модели и других LLM-based систем. ▶️ Работать со сложными пайплайнами разметки. Мы ожидаем, что вы: ▶️ Уверенно владеете Python, SQL, Spark. ▶️ Имеете опыт проведения A/B тестов. ▶️ Понимаете ML-метрики и анализ данных. ▶️ Применяете статистику и теорию вероятностей на практике. ▶️ Умеете работать с BI-инструментами. Будет плюсом: ▶️ Опыт работы с данными для крупных ML-моделей. Вакансия на HH

Всем привет! Мы нанимаем аналитиков. Отличные, прекрасные вакансии в SberDevices. У нас открыто сразу несколько вакансий. Кого ищем? ✅ Дата-аналитики в команду Ассистента (Junior+/Middle) - вакансия на HH ✅ Аналитик-инженер (Senior) - вакансия на HH Ну или можно писать на hr@sberdevices.ru Ниже подробности

Привет, это Вит Черемисинов. 🔵В марте у меня вышло ещё одно большое интервью в подкасте Data Heroes от LEFT JOIN. Точно рекомендую его посмотреть/послушать, если ищете ответы на эти вопросы: — Почему у нас не любят облачные сервисы — Кто главные игроки на российском и западном рынках, и за чьими успехами стоит следить в домене экспериментов — Почему иногда главный конкурент платформы для экспериментов — это не другой поставщик, а внутренний эксперт компании-заказчика? — Как мы используем ИИ в продуктах Trisigma? Выбирайте любую платформу: YouTube VK Apple Podcasts, Яндекс Музыка #trisigma

Чтение новостей сейчас интереснее, чем что бы то ни было. АБ-тесты эти все - так скучно. И все же отвлечемся на них. В последние месяцы по долгу службы приходится много заниматься вопросами культуры АБ-тестирования. Это важнее, чем стат. критерии, mde, бутстрап и, конечно, аб-платформа. Об остальных умных и сложных словах и не говорю. Шаг 0 - это оценка того, что они действительно нужны. Это не шутка. АБ-тесты нужно начинать делать не тогда, когда появились данные, пользователи, или появились аналитики, которые хотят (или умеют). Или потому что все их проводят (кажется, что часто так и бывает). А, наверное, тогда, когда развитие продукта вслепую (наугад, бесконтрольно, безответственно и другие синонимы) становится слишком дорогим удовольствием. Когда становится понятно, что это должно происходить под контролем, понятно, предсказуемо, тогда и становится "пора". Не раньше, и не позже. Продолжение следует.

Подведены итоги традиционного исследования рынка аналитиков. NewHR проводит его уже не в первый раз и знает в этом толк. Ссылка. Что внутри: - портреты, специализации аналитиков - грейды, зарплаты - география работы, релокация, удаленка - выводы, тренды, неочевидные инсайты - и многое другое В общем, не тратим время впустую, заходим, читаем.

На следующей неделе пройдет оффлайн-митап про АБ-тесты, AI и проч. с участием EXPF Trisigma. Все сплошь трендовые темы. Ссылка тут.

Небезинтересная статья от коллеги из Авито с критикой и проблемами использования критерия Манна Уитни. При этом Яндекс в своем Вариокубе использует Манну Уитни. Тут описывается механика и разбираются некоторые аргументы из первой статьи.

Пересматривал ролик про АБ-платформы, обратил пристальное внимание на часть, где Виталий Черемисинов рассказывает про чувствительность метрик, как ее моделировать и правильно использовать в работе. Ссылка в отметкой времени. Почему это важно? Как в рассказе Виталия, мы можем раз за разом брать какую-то метрику и раз за разом разочаровываться, когда наша фича снова не дала результат. Если заняться исследованием чувствительности метрик, мы можем выяснить, что эти и те метрики у нас малочувствительны и на них не нужно акцентироваться в экспериментах. И наоборот, появится пул метрик, с которыми мы с большей степени можем добиться желаемого. Таким образом сможем сэкономить время, силы, деньги, репутацию.

Нашел тут небольшой курс по Байесовским АБ-тестам на степике. На досуге посмотрю, что там есть, после расскажу

Хочешь превратить встречу в холивар? Предложи обсудить использование mde в аб-тестах. Не нужно благодарностей

Всем привет! совсем недавно поменял работу, и о своих наблюдениях здесь пописываю потихоньку. На себе прочувствовал, что рыночек аналитиков сильно изменился за последние год-два. Более полно оценить, что происходит, в очередной раз поможет NEWHR. Прошу помочь в этом важном деле. NEWHR запустили очередное исследование рынка аналитиков (первое исследование было запущено в 2018 году, последнее — в 2024 (https://newhr.org/data/research-analysts-2024)). Цель: выяснить, как меняется профессия, чего хочет бизнес от аналитиков, чего хотят сами аналитики, сколько зарабатывают и какими технологиями пользуются. Рынок каких аналитиков исследуют: ➤ Дата-аналитиков ➤ Продуктовых аналитиков ➤ BI-аналитиков ➤ Маркетинговых аналитиков ➤ Веб-аналитиков ➤ Системных и бизнес аналитиков ➤ Руководителей аналитики Что именно исследуют? 👉 Сколько зарабатывают аналитики, как эти цифры менялись за последний год и с чем были связаны изменения 👉 Рейтинг работодателей для аналитиков, с нормальной аналитической культурой, например 👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройтво 👉 Как меняется зона ответственности аналитиков и чем они хотят заниматься 👉 Как аналитики ищут работу и выбирают работодателя Как принять участие в исследовании? ⏩ Заполнить опросник (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025)(займет около 20 минут) 🚀 На данный момент опрос прошли уже 900+ специалистов. Цель — собрать 1500 респондентов. Когда будут результаты? — Итоговый результат исследования будет опубликован в начале 2026 года. — Со всеми участниками исследования команда NEWHR будет делиться промежуточными результатами, а также пригласят на закрытый стрим, где поделятся всеми инсайтами и ответят на вопросы. 👉🏼 Пройти опрос (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025) P. S. Опрос можно и нужно шерить с коллегами-аналитиками. Чем больше данных, тем точнее и интереснее результаты!

Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое. Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай. По ходу снимали промежуточные результаты, где-то есть профит, где-то нет. Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль. И, кстати, наверху уже и забыли про нежелание делать АБ и никак не отреагировали на наши выкладки типа "тест-контроль-аплифт". Фича была достаточно сложная и по-разному влияла на разные сегменты пользователей. В результате оказалось, что в одном сегменте у нас стат. значимо есть аплифт (и конверсии и хулиарды денег), в другом было близко к стат. значимости, но нет, а в остальных, самых крупных сегментах было очень далеко от 0,05. Таким образом, благодаря тому, что мы все же сделали контроль: 1. Смогли показать успешность гипотезы и показать прирост конверсии и чистой прибыли компании. 2. Увидели, что наши нововведения по-разному в одних сегментах работают хорошо, а в других не работают вовсе. 3. Получили идеи, что теперь с этим делать дальше. 4. Получили еще одно подтверждение, что все эти чуйки и интуиции без нормального обоснования фактами могут идти лесом.

Новости интересные подъехали. Авито прибирает к рукам платформу Сигма от EXPF. Не готов сейчас обсуждать, к лучшему или к худшему это. Понаблюдаем. https://www.avito.ru/company/press/expfsigma

Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два

Снова возвращаюсь к тому, что 10% успешных АБ-тестов считается нормой. Уже говорил, что в таком случае эксперименты становятся вместо инструмента тестирований гипотез инструментом оценки качества гипотез. Иногда некоторые компании рассказываю, что у них показатель успешных достигает 20-25%. Снимаю шляпу в таких случаях. Качество гипотез страдает часто из-за отсутствия системности в работе с гипотезами, да и продуктами в целом. К сожалению, приходилось такое наблюдать. При этом, даже прохождение нашей гипотезы через простой чек-лист поможет откинуть большое количество мусора и сэкономить кучу времени и денег. Такие тоже встречал. Итак, простой чек-лист. Гипотеза должна быть: ✅ Тестируема. У нас есть возможности протестировать данную гипотезу. ✅ Решает конкретную проблему. Гипотеза помогает решить заранее определенную и конкретную проблему. ✅ Есть набор изменений. Мы определили, какие изменения нужно внести, чтобы протестировать данную гипотезу. ✅ Есть обоснование. Мы можем обосновать, за счет чего и почему решение может решить проблему. Хорошая гипотеза сможет пройти допрос с пристрастием и ответить на вопросы типа «а с чего ты взял, что это поможет», «за счет чего метрика увеличится настолько». Необходимо, чтобы обоснование было подкреплено фактами, числами, а не фантазиями и чуйками, типа «я уверен в этом, зуб даю». Не нужно никому давать свой зуб, лучше показать чиселки. ✅ Измерима, выбраны метрики. Мы понимаем, как измерить эффект, выбрали метрики, изменение которых поможет нам понять, решается проблема или нет. ✅ Определены ожидаемые величины изменения метрик. Нежелательно запускать эксперимент, не предполагая, на какую величину может увеличиться метрика. ✅ Эта гипотеза — часть цепочки среди других гипотез. Гипотеза не должна существовать в вакууме отдельно от других гипотез. У нас есть понимание, что будет происходить в зависимости от результатов конкретного теста. Исследование текущей гипотезы должно вести к следующей и т.д. (в этом месте гуглим про цикл HADI) ✅ Есть полные текущие данные (количественные и качественные). Мы можем собрать текущие данные (просмотры, события и проч.) по метрикам, которые будем наблюдать при проведении АБ теста. ✅ Ведет к дополнительному знанию. В результате теста мы получим какую-то новую информацию.

О бедном т-тесте замолвите слово. Подробный разбор метода, в том числе "легендарное" требование нормальности распределения для использования т-теста.

Байесовское АБ-тестирование часто встречаю в статьях, но, насколько понимаю, его используют немногие. Тем, кто хочет быстро оценить как это работает и помоделировать, поможет эта статья - тут общее описание, калькуляция, код.