аналитика на кубах

описание

Случайные мысли и наблюдения продуктового аналитика в геймдеве. by @konhis

← к каналу @diceanalytics

1 516

подписчиков

Охват к подписчикам

71,7%

ERR

Реакции к просмотрам

1,20%

445 на 30 постов

Пересылки к просмотрам

0,48%

176

Постов в день

0,0

всего 30

Где отзываются чаще

доля реакций к просмотрам

30 дек.Земля обошла оборот и пришла на рубеж. Год получился сложный, насыщенный на ситуации и изменения. Окончательно ушел из ВШЭ. Ушел из Pixonic. В декабре чуть было не ушел и из нынешней компании, но и это не точно. Я от бабушки ушел, я от дедушки ушел… с зайцем затяжные переговоры. Закончил обучение коучингу (ICF), оно неплохо легло на мое психотерапевтическое прошлое. Менторил несколько крутых ребят. К слову — приходите, если ощущаете потребность в изменениях. Мало читал умного, не очень много писал в блог. При этом хочется говорить про аналитику больше. В последний раз я прибегал к внутренним дедлайнами, когда писал учебник по R. Кажется, пришло время вернуться к этой практике. Покой — это ложь. Спасибо, что читаете и комментируете. С новым годом вас.4,22%
4 апр.Одна из ошибок в отчетах — несоответствие выводов и проведенного анализа. В некоторых случаях — несоответствие цели исследования и проведенного анализа. В крайних случаях — всех трех компонент. Притом это характерно не только для аналитиков, но в целом для исследователей — подобное я видел и у ux-еров, и в курсовых работах студентов. Простейший пример. Недавно возникла гипотеза, что мы, может быть, зря деприоритизировали работу со звуком в наших играх. Соответственно, пошли исследовать, какая доля аудитории играет со звуком, как эта доля распределена по платящим группам и тому подобное. А потом в отчете я вижу вот такую фразу: В сегменте X пользователи чаще играют без звука. Эти пользователи чаще играют в условиях, требующих тишины (офис, транспорт, семья), либо звук им мешает фокусироваться. Первое утверждение корректное, оно подтверждается данными. Далее — уже предположения, почему эти пользователи так себя ведут. Но эти предположения никак не проверены, в отчете нет ни результатов опросов, ни интервью, которые позволили бы делать такое утверждение. Это, конечно, немного гротескный пример, хоть и реальный. Обычно подобные ошибки тоньше и незаметнее, правдоподобнее, и их иногда делают даже опытные аналитики. Но самое плохое во всем этом то, что в какой-то момент предположение может начать восприниматься как реальность. Особенно этим грешат заинтересованные в успешном успехе фичеовнеры. Впрочем, про это стоит говорить отдельно уже.3,31%
1 июл.Недавно в разговоре с менти зашла речь про North star и дерево метрик. И в процессе обсуждения я подумал, какой же все-таки это крутой фреймворк. И зря я его недооценивал. Обычно в примерах про дерево метрик говорят про высокоуровневые продуктовые метрики, которые можно строго математически связать. Типа Revenue = DAU * Paying Share * ARPPU. Однако самое интересное начинается ниже, когда мы декомпозируем метрику до поведенческих параметров. Например, среднее количество платежей на пользователя может быть связано с тем, как часто он заходит в игру. Количество корлупов в день (уровней/боев/заказов/etc), когда пользователь сталкивается с сложностью или дефицитом, можно интерпретировать как интенсивность монетизационного давления. И, соответственно, как часто пользователь сталкивается с монетизационными предложениями. Между поведенческими и продуктовыми метриками вряд ли можно построить строгую математическую связь, скорее всего только корреляционную. Что и делает дерево сложным и неочевидным для построения. Есть и вторая важная для меня сторона во всем этом — чем профессиональнее аналитик/продакт/исследователь, тем больше он работает на уровне поведения и тем лучше он связывает продуктовые метрики с поведением пользователей. В конце концов, мы влияем прямо именно на поведение пользователя, а не на условные ARPU или GMV.2,61%
30 июл.Один из самых распространенных способов создания новых донатных сосалок (если вы не Superell, конечно) — клонирование успешных проектов. Для их поиска народ активно шерстит рынки и мониторит жанры, смотрит в спец.инструменты AppMagic или пилит свои. А потом — прямое клонирование (тьма киперкэжа типа Arrows) или же какие-то доработки (как это было с Rash Royal или Match Villains, например). Во всем этом есть проблема, к которой я даже не знаю, как подступиться. Возможно, она просто нерешаемая. Как понять, что экономика проекта-референса сходится? Вот, например, Match Villains. Быстрый match3 по типу Royal Match, играется чуть быстрее, забавные ролики, чуть иной геймплей. Закупались масштабно, в пике около $5млн ревеню в месяц… Сейчас количество установок упало почти в ноль. И никто не гарантирует, что тот же Royal Kingdom (который развивает Royal Match) окупается — возможно, Dream Games просто льют его в минус. Или окупается на очень длинном периоде, который студии поменьше просто не могут себе позволить. Как это можно понять? Не знаю. Да, можно посмотреть на RPD, прикинуть, потянем ли такое. Посмотреть на динамику закупки, оценить границы масштабируемости. Но это все равно не поможет понять, какая модель окупаемости у компании. Выглядит так, что клонирование работает либо на маленьких проектах с высокой скоростью запуска, либо когда клонируем свои собственные проекты (да и то, если это исключительно рескины, которые создаются почти в то же время, что и основной продукт). В остальных случаях есть высокий риск купиться на высокие метрики загрузки/ревеню, запустить долгое производство и в итоге обнаружить, что референс за это время тихо помер.2,42%
31 мар.Всем, у кого конец квартала, обсуждения OKR, приоритизация фич и прочая корпоративщина, посвящается.2,31%
7 июн. 2024 г.без подписи1,99%
28 июл. 2024 г.без подписи1,94%
21 июл.Недавно столкнулся с двумя забавными кейсами, которые можно назвать “ложными друзьями аналитика (продакта)”. Первый — когда вы смотрите на динамику ARPDAU на длинном периоде. Особенно если вы считаете себя корпоратом и ваш путь увешан целевыми периодами, OKR и KPI. Например, вы зафиксировали, что за полгода ARPMAU выросло. И вроде бы все хорошо, можно радостно отчитываться о выполнении KPI. Но при этом даже обычным скроллингом дашбордов видно, что продукту плохеет, и чем дальше, тем хуже. Разгадка проста — за эти полгода снизилось MAU и отвалились менее лояльные неплатящие, и остались более лояльные платящие. Я даже где-то видел формулировку для этого процесса: “консолидация аудитории на снижающемся проекте”. Второй кейс похожий. Провели аб-тест, в котором в контрольной группе снизили сложность игры. Винрейты выросли, вовлечение увеличилось, ARPDAU уменьшилось. Формально на этом тест можно завершать, так как ARPDAU было в контрольных. Но при этом количество ресурсов, которые пользователи тратят на прохождение, осталось примерно таким же, что уже странно. Причина такая же — изменился знаменатель. В более простую игру лучше возвращаются пользователи, в результате DAU растет, особенно за счет неплатящих.1,90%
2 мар.Выпустили мы тут недавно один прототип. Тестировали Ret d1, как обычно. Метрики оказались так себе, правда. Все опечалились, пошли думать, что делать дальше. А там обсуждения, новый год, месяц и прошел. И внезапно оказалось, что retention d30 у проекта какой-то неприлично большой. Особенно если учесть, что это почти гибридкэж с контентом от силы на пару дней. Стали разбираться. В ход пошло все — и перепроверка дашбордов и данных сервиса атрибуции. И расследования, не было ли каких багов в логировании (оказалось, что были, но про другое). И сравнение формы кривой с другим периодом закупки на другом гео. Естественно, в итоге докатились до “а как бы проверить, не боты ли”. И тоже нет. На тридцатый день большая часть аудитории ходит в корлуп, да не по одному разу. Нет пользователей с какими-то регулярными паттернами. Даже названия моделей девайсов более-менее привычные. Кажется, все-таки не боты Аналитик, которая делала исследование, даже призналась, что расстроилась, что не боты. И я ее в чем-то понимаю.1,70%
13 мар.Опросы пользователей без попутного сопоставления с игровыми данными — обманчивая штука. Я уже вроде рассказывал, как некоторое время назад мы спрашивали пользователей, “как изменилась ваша активность за последнюю неделю?”. А потом сравнивали с тем, насколько реально изменилась их активность (по количеству активных дней, например). Конечно же половина тех, кто сказал “стал играть больше”, на самом деле стали заходить реже или в лучшем случае столько же. И сейчас подобный кейс приключился: спрашивали пользователей, как они относятся к ивенту, очень уж нас напрягали негативные отзывы. Потом посмотрели, кто и какие отзывы оставляет и как играет. И оказалось, что негативные отзывы оставляют лояльные и платящие игроки. А положительные — те, кто в скором времени отваливается. В конце концов, если мне все равно, то можно и не расстраивать разработчиков, и поставить высокую оценку. Осталось, правда, теперь понять, что делать с этими результатами. Воспринимать негативные оценки как фидбек от лояльных пользователей — да, конечно. Но они и так играют и платят, рычаг изменений вряд ли большой. А те, кто отваливается, не дают зацепок, как их можно оставить.1,68%
12 февр. 2024 г.без подписи1,42%
27 нояб.Занимаюсь тут чем-то вроде ментальной эквилибристики — оцениваю, какой вклад в ретеншен 14 дня может дать ивент, который доступен пользователям с одного из ранних уровней и предполагает свои квесты и игру в отдельных локациях. Пошел по пути сценарного моделирования, так как на руках нет ничего кроме концепта фичи, похожих фич на других проектах также нет в опыте. И начал с того, что попробовал определить вариативные точки и разложить аудиторию на сегменты. Во-первых, не все пользователи вовлекутся в ивент, есть те, кому интересно играть и в основной сторилайн. И это первая точка вариативности — вовлечение в ивент может быть и 20%, и 80%. Во-вторых, пользователям ивент доступен не с начала игры, при этом пользователи играют с разной скоростью. То есть, пользователи, начавшие играть в ивент в день инсталла и начавшие на пятый день — разные пользователи, с разной вероятностью вернуться на 14 день. Для каждого дня я брал относительный ретеншен — какая доля пользователей, достигших уровня Х в этот день, вернется на 14 день. Ивент может по-разному удерживать вовлеченных пользователей — их относительный ретеншен может подняться и на 10%, и на 50% (вряд ли больше). И это вторая точка вариативности. В итоге у меня получается несколько сегментов, у каждого своя вероятность вернуться на 14 день: пользователи, которые за все 13 дней не дошли до уровня открытия ивента, какая-то доля пользователей, кто доходит до целевого уровня и не вовлекшиеся в ивент, и дошедшие до целевого уровня и вовлекшиеся в ивент. Доля вовлекшихся и удерживающая сила ивента — точки вариативности, которые позволяют определить оптимистичный и пессимистичный сценарии. Применяем эти коэффициенты и получаем, сколько в том или ином сценарии вернется на 14 день. В целом задачка получилась забавная. Формально такие оценки нужны для решения, нужно ли делать фичу и в каком приоритете. Лично мне было любопытно поковыряться именно с методологией — пока не определил точки вариативности и не сформулировал сегменты, прям в ступоре сидел.1,09%