Телекомпания Вит

Мы с Романом Нестером, Валерием Бабушкиным и Бесланом Курашовым (plevako.ai и karpov.courses) приглашаем вас на наш FuckUp Night 26 августа. От каждого участника будет история / истории про персональные или профессиональные неудачи, и что они из них вынесли. Я уверен, что это будет один из лучших наших митапов! 🔵 Важно! Записи не будет, поэтому приходите на эфир. Главное, не забудьте зарегистрироваться.

У меня для вас загадка на вечер. Что это?

А вот как вам тезис: "Команды продукта в корпорациях – не влияют на развитие продукта и уже тем более на его деньги. Они влияют только на лазейки в процессах" Ваше мнение?

Всем привет! Мы сейчас активно готовим новый митап – в формате fuckup night (но в онлайне) Если у вас есть классная история, которой вы готовы поделиться без "водолазки" и "белого пальто" – смело пишите в личку!

Вышла статья транскрипт моего подкаста в AvitoTalk. Если слушать было лень, но интересно – отличный шорт формат. https://habr.com/ru/companies/avito/articles/1062752/

Какие продукты или каких создателей вы смело можете назвать гениальными? Я начну: Statsig. UPD И давайте еще напишем – почему?

Я вынужден спросить – ибо меня это тяготит уже вторую неделю. У меня есть сотрудник-друлега – Артём. Недавно я узнал, что Артём и Артемий – разные имена. Вопрос: а вы знали?

Последние месяцы всё чаще приходят с запросами на консультации – вне моего основного дела. Если у вас болит что-то из этого – давайте поговорим: Продажи сложных техпродуктов. Как выстроить и масштабировать продажи там, где цикл длинный, а продукт не объяснить одним слайдом. Партнерства и дистрибуция. Как находить и строить отношения с партнерами, которые продают ваш продукт, а не просто числятся в списке. M&A и подготовка к нему. Что нужно иметь уже сейчас, чтобы стать интересным стратегу, и как пройти саму сделку. Экономика продукта. Где вы сейчас по юнит-экономике и что в ней можно развернуть. Аналитика и эксперименты. Любые вопросы в аналитическом домене – от метрик до культуры экспериментов и AI. Пишите в личку – разберемся, чем могу быть полезен.

В новой статье описали как работают switchback эксперименты на платформе trisigma.io https://habr.com/ru/companies/avito/articles/1048780/ Все еще очень рад и горд их появлению у нас! Канал «Телекомпания Вит»

В 2020 год мы в EXPF завели блог – писали про математическую статистику и эксперименты. Тогда блог жил на платформе medium и был достаточно хорошо читаемым. Теперь у блога новая жизнь и он переехал на сайт сайт trisigma.io. Мои самые любимые материалы: 1) Дисбаланс в A/B-тестах. Есть ли разница между 99%/1% и 50%/50% в экспериментах? 2) Увеличиваем чувствительность экспериментов при помощи ранговой трансформации 3) Случайность над случайностью или в поисках «Сетевого эффекта» Канал «Телекомпания Вит»

9го июля буду выступать на data day в Москве. Если вы вдруг туда собираетесь – буду рад поболтать!)

Всем привет, это Искандер. 🔵В прошлый раз я поделился с вами пейпером про подход с ARMA-Design от нескольких международных университетов. Следующий пейпер, который хочу обсудить, снова про нарушение SUTVA, но уже не во времени, а в пространстве. Откуда проблема Запускаете A/B на социальной сети: часть пользователей получает новый тип реакций, часть — нет. Казалось бы, всё чисто. Но контрольные пользователи видят, что их друзья из treatment что-то делают иначе. Они, в свою очередь, меняют свое поведение. ATE по итогу будет смещён, и авторы оценивают это смещение в 30%+. Очевидно перед нами сетевой эффект. Но стандартные способы с ним бороться работают плохо. Наиболее популярных подход и его проблемы Чаще всего используется сплиттование через Cluster randomization: назначаем воздействие кластерам пользователей, а не индивидуально. Тогда spillover-эффект внутри кластера, но не между ними. Проблема: теряется мощность за счет перехода на новый уровень рандомизации, и кластеры часто плохо соответствуют тому, как реально распространяется воздействие от A/B. Что предлагают авторы Двухшаговый метод, который автоматизирует задание exposure mapping. Шаг первый: для каждого пользователя строится вектор — causal network motif. Он описывает топологию ближайшего окружения с учётом того, кто из соседей обработан. Важна не просто доля обработанных, а структура связей между ними. «4 друга, 2 обработаны, и они между собой связаны» — это другой мотив, чем «2 из 4 обработаны, но изолированы друг от друга». Плотный кластер обработанных давит на поведение иначе, чем рассеянные. Шаг второй: эти векторы кластеризуются алгоритмом ближайших соседей. На выходе — автоматически найденные группы с разными паттернами интерференции. Целевая метрика — GATE: что было бы, если бы все получили фичу, против состояния, где никто ничего не получил. Не "насколько лучше у тех, кому показали" — а глобальный эффект с учётом spillover эффекта. Проверка Протестировали на синтетике и на реальном крупном тесте. По точности оценки GATE — выше cluster randomization. Когда это нужно Продукты с механиками социального взаимодействия с вирусным компонентом: реакции, шеринг, рекомендации «добавить в друзья». Двусторонние маркетплейсы, где обработка продавца влияет на покупателей. В общем — всё, где SUTVA нарушается через явные связи в графе, а не через время. От себя Практически важнее самого алгоритма — диагностика. Большинство команд вообще не проверяют, есть ли интерференция. Обычно просто говорят – «у нас есть сетевой эффект». Если граф пользователей доступен, тест на отсутствие spillover — несложная операция, которая может перевернуть интерпретацию уже прошедших экспериментов. Если есть мысли, пишите в комментах. Trisigma — канал про A/B-тестирование #trisigma

VWO опубликовали исследование – опросили 108 компаний, насколько зрелые у них процессы экспериментирования. Разобрал, что там внутри. Сразу честно: выборка смещенная. Отвечали клиенты VWO – то есть те, кто уже купил платформу и скорее всего доволен. Это как спрашивать у людей в спортзале, занимаются ли они спортом. Но кое-что интересное там все равно есть. Главный парадокс отчета 56% компаний запускают 1–2 теста в месяц. И при этом 75% говорят, что главная цель на год – запускать больше тестов. То есть все знают что надо делать. Никто не делает. Причина называется честно – не хватает людей и времени. Не инструментов, не бюджета. Просто руки не доходят. Что западает у всех без исключения Приоритизация. Команды берут в работу то, что проще построить, а не то, что важнее. Самый низкий балл из всего исследования. Про AI 86% команд уже используют AI в экспериментах. В основном – чтобы быстро делать варианты текстов и не смотреть вручную записи сессий пользователей часами. Мое мнение Отчет про западные CRO-команды, которые оптимизируют лендинги. В продуктовых командах картина другая. Но парадокс с velocity – он везде одинаковый. Все хотят больше экспериментов, мало кто строит систему, которая это позволяет. Если хотите быстро понять где вы – ответьте на два вопроса: сколько тестов вы запускаете в месяц и по какому принципу выбираете что тестировать следующим.  Канал «Телекомпания Вит»

Быстрый опрос – если вдруг кто то в Лондоне и хочет выпить кофе, буду рад!)

Ну и чтобы не выглядело так, что из впечатлений - только кепка. Вы посмотрите что там было , просто до мурашек.

Мы вчера были с женой на концерте Ye (Канье Вест). Очередь на вход - была просто огромная и очень утомительная. Видимо в какой-то момент мне стало настолько скучно, что я решил предложить поменяться кепками сотруднику сцены. Он согласился. А я теперь сижу и жалею, моя старая кепка мне очень нравилась. Ну и парой фоток с вами поделюсь.