AB тесты и все вот про это вот все

описание

Полезная информация об A/B тестировании. По любым вопросам можно писать - @ealexandr

← к каналу @abtesting_full

1 881

подписчиков

Охват к подписчикам

76,2%

ERR

Реакции к просмотрам

0,46%

132 на 20 постов

Пересылки к просмотрам

1,53%

437

Постов в день

0,0

всего 20

Где отзываются чаще

доля реакций к просмотрам

31 мар.Чтение новостей сейчас интереснее, чем что бы то ни было. АБ-тесты эти все - так скучно. И все же отвлечемся на них. В последние месяцы по долгу службы приходится много заниматься вопросами культуры АБ-тестирования. Это важнее, чем стат. критерии, mde, бутстрап и, конечно, аб-платформа. Об остальных умных и сложных словах и не говорю. Шаг 0 - это оценка того, что они действительно нужны. Это не шутка. АБ-тесты нужно начинать делать не тогда, когда появились данные, пользователи, или появились аналитики, которые хотят (или умеют). Или потому что все их проводят (кажется, что часто так и бывает). А, наверное, тогда, когда развитие продукта вслепую (наугад, бесконтрольно, безответственно и другие синонимы) становится слишком дорогим удовольствием. Когда становится понятно, что это должно происходить под контролем, понятно, предсказуемо, тогда и становится "пора". Не раньше, и не позже. Продолжение следует.1,54%
26 авг. 2025 г.Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое. Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай. По ходу снимали промежуточные результаты, где-то есть профит, где-то нет. Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль. И, кстати, наверху уже и забыли про нежелание делать АБ и никак не отреагировали на наши выкладки типа "тест-контроль-аплифт". Фича была достаточно сложная и по-разному влияла на разные сегменты пользователей. В результате оказалось, что в одном сегменте у нас стат. значимо есть аплифт (и конверсии и хулиарды денег), в другом было близко к стат. значимости, но нет, а в остальных, самых крупных сегментах было очень далеко от 0,05. Таким образом, благодаря тому, что мы все же сделали контроль: 1. Смогли показать успешность гипотезы и показать прирост конверсии и чистой прибыли компании. 2. Увидели, что наши нововведения по-разному в одних сегментах работают хорошо, а в других не работают вовсе. 3. Получили идеи, что теперь с этим делать дальше. 4. Получили еще одно подтверждение, что все эти чуйки и интуиции без нормального обоснования фактами могут идти лесом.1,32%
19 дек.Нашел тут небольшой курс по Байесовским АБ-тестам на степике. На досуге посмотрю, что там есть, после расскажу1,13%
4 июл. 2025 г.Новости интересные подъехали. Авито прибирает к рукам платформу Сигма от EXPF. Не готов сейчас обсуждать, к лучшему или к худшему это. Понаблюдаем. https://www.avito.ru/company/press/expfsigma0,70%
8 июн. 2025 г.Снова возвращаюсь к тому, что 10% успешных АБ-тестов считается нормой. Уже говорил, что в таком случае эксперименты становятся вместо инструмента тестирований гипотез инструментом оценки качества гипотез. Иногда некоторые компании рассказываю, что у них показатель успешных достигает 20-25%. Снимаю шляпу в таких случаях. Качество гипотез страдает часто из-за отсутствия системности в работе с гипотезами, да и продуктами в целом. К сожалению, приходилось такое наблюдать. При этом, даже прохождение нашей гипотезы через простой чек-лист поможет откинуть большое количество мусора и сэкономить кучу времени и денег. Такие тоже встречал. Итак, простой чек-лист. Гипотеза должна быть: ✅ Тестируема. У нас есть возможности протестировать данную гипотезу. ✅ Решает конкретную проблему. Гипотеза помогает решить заранее определенную и конкретную проблему. ✅ Есть набор изменений. Мы определили, какие изменения нужно внести, чтобы протестировать данную гипотезу. ✅ Есть обоснование. Мы можем обосновать, за счет чего и почему решение может решить проблему. Хорошая гипотеза сможет пройти допрос с пристрастием и ответить на вопросы типа «а с чего ты взял, что это поможет», «за счет чего метрика увеличится настолько». Необходимо, чтобы обоснование было подкреплено фактами, числами, а не фантазиями и чуйками, типа «я уверен в этом, зуб даю». Не нужно никому давать свой зуб, лучше показать чиселки. ✅ Измерима, выбраны метрики. Мы понимаем, как измерить эффект, выбрали метрики, изменение которых поможет нам понять, решается проблема или нет. ✅ Определены ожидаемые величины изменения метрик. Нежелательно запускать эксперимент, не предполагая, на какую величину может увеличиться метрика. ✅ Эта гипотеза — часть цепочки среди других гипотез. Гипотеза не должна существовать в вакууме отдельно от других гипотез. У нас есть понимание, что будет происходить в зависимости от результатов конкретного теста. Исследование текущей гипотезы должно вести к следующей и т.д. (в этом месте гуглим про цикл HADI) ✅ Есть полные текущие данные (количественные и качественные). Мы можем собрать текущие данные (просмотры, события и проч.) по метрикам, которые будем наблюдать при проведении АБ теста. ✅ Ведет к дополнительному знанию. В результате теста мы получим какую-то новую информацию.0,63%
13 маяРебят, привет! 🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию. В нём собрали качественную и полную базу — на примерах разобрали, как устроены эксперименты и статистический анализ. В общем, внутри всё это нужно, чтобы решения, принимаемые для развития продукта, положительно влияли на целевые метрики. Думаю, что хендбук будет полезен и начинающим аналитикам, и опытным, чтобы освежить в памяти базу. Забрать его можно в боте. Ждём обратной связи! Trisigma — канал про A/B-тестирование #trisigma0,61%
28 нояб.Хочешь превратить встречу в холивар? Предложи обсудить использование mde в аб-тестах. Не нужно благодарностей0,47%
30 мая 2025 г.О бедном т-тесте замолвите слово. Подробный разбор метода, в том числе "легендарное" требование нормальности распределения для использования т-теста.0,37%
14 янв.Небезинтересная статья от коллеги из Авито с критикой и проблемами использования критерия Манна Уитни. При этом Яндекс в своем Вариокубе использует Манну Уитни. Тут описывается механика и разбираются некоторые аргументы из первой статьи.0,33%
21 мая 2025 г.Байесовское АБ-тестирование часто встречаю в статьях, но, насколько понимаю, его используют немногие. Тем, кто хочет быстро оценить как это работает и помоделировать, поможет эта статья - тут общее описание, калькуляция, код.0,30%
17 июн. 2025 г.Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два0,29%
26 мар.Подведены итоги традиционного исследования рынка аналитиков. NewHR проводит его уже не в первый раз и знает в этом толк. Ссылка. Что внутри: - портреты, специализации аналитиков - грейды, зарплаты - география работы, релокация, удаленка - выводы, тренды, неочевидные инсайты - и многое другое В общем, не тратим время впустую, заходим, читаем.0,22%