A/B testing

​​Наткнувся на цікаву ідею про privacy-by-design в A/B testing. Суть дуже проста: щоб аналізувати результати експериментів, не обов’язково зберігати дані по кожному окремому користувачу. У багатьох випадках достатньо працювати з агрегованими даними — тобто не бачити конкретну людину, а одразу дивитись на групи користувачів. Для великого і відповідального бізнесу це може бути хорошим підходом одразу з кількох причин: — менше персональних даних зберігається — нижчий ризик витоку (бо немає чому витікати, user level data не зберігається) — простіше пояснювати підхід legal / privacy командам — дешевше і швидше обробляти дані Мені здається, це хороше нагадування, що насправді privacy — це не тільки про consent mode банери і юридичні тексти. Це ще й про те, як ви проєктуєте саму архітектуру збору і аналізу даних. Детальніше: https://blog.conductrics.com/privacy-by-design-ab-testing/ Paper: https://hstalks.com/article/10835/when-less-is-more-privacy-by-design-in-ab-testing/ via @WebAnalyst

​​Цікавий та інтерактивний спосіб краще зрозуміти перевірку гіпотез за допомогою ігрового симулятора A/B-тестування від Лукаса Вермеєра. @ABtesting

​​Гарне порівняння підходів до аналізу експериментів Автор аналізує обмеження традиційного A/B-тестування та пропонує альтернативний підхід на основі баєсівської статистики. Баєсівський підхід пропонує більш гнучкий та надійний спосіб оцінки ефективності змін у продукті чи маркетингових кампаніях. Використання баєсівських методів може допомогти швидше приймати обґрунтованіші бізнес-рішення. via @ABtesting

​​The unusual A/B Test, with Heterogenous Treatment Effects The article explores the limitations of traditional A/B testing when treatment effects are heterogeneous—that is, when changes don’t affect all users or segments equally. In search engines, changes to algorithms might significantly impact some queries via @ABtesting

​​Подавай заявку на навчання з аналітики від Genesis Academy! Обирай програму, яка найкраще відповідає твоєму запиту: 📊 Genesis Analytics Week — відкритий тиждень live-лекцій і воркшопів, що допоможе розібратися з основами аналітики в IT-бізнесі. Без відбору — участь за реєстрацією. Після навчання ти: ▪️знатимеш, які бувають ролі аналітиків у продуктовому ІТ; ▪️розумітимеш метрики та їхню взаємозалежність; ▪️отримаєш інструменти для розвитку критичного мислення й боротьби з когнітивними викривленнями; ▪️навчишся доносити результати своєї роботи та впливати на бізнес. ⌛️ Реєструйся: https://cutt.ly/irkuBTEy 💻 Genesis Analytics Summer Camp — інтенсивний курс, що поєднує теоретичне навчання та роботу над реальними бізнес-кейсами. На тебе чекають: ▪️4 тижні теорії: онлайн-навчання на LMS, live-лекції, воркшопи, тестування; ▪️8 тижнів практики: кейс-стаді, практикуми, реальні задачі, ярмарок вакансій. 📌 Проходь відбір у закриту групу та навчайся безоплатно. ⌛️ Подавай заявку до 1 червня: https://cutt.ly/nrkuNrAH Якщо хочеш глибше зрозуміти аналітику, метрики, бізнес-контекст і логіку ухвалення рішень у продуктовому ІТ — долучайся!

​​False Positive Risk in A/B Testing There is a much greater probability than generally expected that a statistically significant test outcome is in fact a false positive. In industry jargon: that a variant has been identified as a “winner” when it is not. https://georgi-georgiev.medium.com/false-positive-risk-in-a-b-testing-ba2c76e258c4 via @ABtesting

​​The good Lukas Vermeer’s A/B testing game simulator is here. It’s an interactive way to understand hypothesis testing better. You control the backlog and running experiments for a small development team. Each day you make decisions that impact product development and overall sales. Your objective is to maximise total sales. via @ABtesting

​​It takes a Flywheel to Fly: Kickstarting and Keeping the A/B testing Momentum Practitioners from hundreds of companies and several different industries reached out with thoughts, concerns and tips on how to kickstart and scale an A/B testing program from “Crawl” or “Walk” milestones, to the “Run” or “Fly” stages. via @ABtesting

​​Four Ways to Improve Statistical Power in A/B Testing (without increasing test duration, duh) Exploration simple and potent techniques for enhancing power without prolonging test durations. By grasping the significance of key parameters such as allocation, MDE, and chosen KPIs, data analysts can implement straightforward strategies to elevate the effectiveness of their testing endeavors. This, in turn, enables increased data collection and provides deeper insights into their product. via @ABtesting

​​Beyond the limitation of A/B Testing using Causal Inference In the realm of product management and development, understanding the impact of new campaign (aka treatment) releases on user behavior is crucial. Campaign assessing effect on key performance indicators, such as retention metrics (specifically, Day 1 retention or D1), becomes a pivotal task. However, this task presents several challenges. While A/B testing is commonly employed to measure such impacts, it is not always a viable option due to ethical, practical, or financial constraints. @ProductAnalytics

​​Ми в MacPaw шукаємо продуктового аналітика з досвідом у web-аналітиці та бажанням працювати над маркетинговими задачами. MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу. 40+ аналітиків, багато різноманітних сервісних команд, які допомагають продуктовим аналітикам робити їх роботу краще. Можливість працювати віддалено. Вакансія за посиланням: 👉 Product Analyst (Marketing).

​​Computing Minimum Sample Size for A/B Tests in Statsmodels: How and Why A deep-dive into how and why Statsmodels uses numerical optimization instead of closed-form formulas. @ABtesting

​​The downsides of experimentation The article help you to delve into the less discussed, yet critical, aspects of experimentation. @ProductAnalytics

​​When You Should Prefer “Thompson Sampling” Over A/B Tests An in-depth explanation of “Thompson Sampling”, a more efficient alternative to A/B testing for online learning @ABtesting

​​Delusive Extrapolation and A/B Testing Cautionary Tales of Complexity and the Dangers of Jumping to Conclusions @ABtesting

​​The Five Types of A/B Test Decisions https://www.harlan.harris.name/2023/07/the-five-types-of-a-b-test-decisions/ @ABtesting

​​Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" - тепер із фокусом на машинне навчання (ML), штучний інтелект (АІ) та роботу з даними! Програма стартує 18 вересня та націлена на програмістів, IT-інженерів, студентів IT-спеціальностей і точних наук, а також нетехнічних фахівців, які працюють із даними. Учасники програми отримають: ✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost ✔️практичний досвід ✔️індивідуальні напрями навчання, зокрема з фокусом на АІ, ML та дані ✔️призи від Google ✔️безкоштовні ваучери на сертифікаційний іспит Google Cloud ✔️поради від експертів із хмарних технологій 🔗 Долучайтеся до програми за посиланням!

An Introduction to Bayesian A/B Testing in Stan, R, and Python workshop - цікавий воркшоп від Dariia Mykhailyshyna за донат. Про основи байєсівського підходу до A/B тестування та теорії прийняття рішень для аналізу великомасштабних експериментів у промислових умовах. Більше корисних воркшопів тут. @ABtesting

​​Як обійти обмеження Google Optimize при аналізі результатів A/B-тестування використовуючи BigQuery та Python зі зразками коду. @BigQuery

​​Difference-in-Differences Метод оцінки ефекту змін у випадку, коли немає змоги провести A/B-тест. + приклад реалізації на Python. @ABtesting