Симулейтив

Растим в себе сильного джуна 💪🏻 Привет! На связи Мария Жарова, ментор курсов «ML-инженер» и «Дата-сайентист» 👋🏻 Технический скилл вырастить можно за полгода. А вот привычки, из-за которых с джуном хотят или не хотят работать дальше — формируются уже с первых проектов. На канале «Модель предскажет» я рассказала, что реально ценят в команде — не «уметь бустинг руками написать», а гораздо более приземлённые вещи. Именно они отличают джуна, которого через полгода зовут на новые задачи, от того, за кем приходится всё переделывать. 📌 Читать пост: https://t.me/modprod/68 Сохраняйте, чтобы не потерять! 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻💻💻💻💻 Дата-инженер: почему без него данные бесполезны Данных с каждым годом действительно больше: логи, API, груды неструктурированных файлов. Но сами по себе они бизнесу не помогают, пока кто-то не соберёт из этого хаоса чистые таблицы в едином хранилище, на которые можно опереться. 15 августа вместе с Юрием Ламиховым разберём, что за профессия инженер данных, и сразу проверим это на практике: соберём рабочий пайплайн в Airflow. На вебинаре вы: ➡️ Разберётесь, чем дата-инженер отличается от дата-сайентиста и аналитика — и почему без него данные остаются просто цифрами; ➡️ Познакомитесь с ETL/ELT, отказоустойчивостью и тем, как инженер следит за качеством данных; ➡️ В live coding с нуля соберёте DAG — пайплайн, который каждый день сам забирает курс валют через API и сохраняет его; ➡️ Узнаете, с чего начинать путь в дата-инженеры и куда расти дальше. 🧑🏻‍💻 Спикер: Юрий Ламихов, дата-инженер в Wildberries 📆 Когда: 15 августа, 14:00 МСК ➡️ Поставить напоминание в календарь 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

Меняем логотип? 🔥 — да 👍 — старый лучше ❤️ — лучше на русском

Булевы флаги через ::int: один трюк, шесть применений Всем привет! На связи Александр Грудинин, ментор профессии «Аналитик данных» 👋🏻 В учебниках мы часто видим, как условную логику реализуют через CASE WHEN ... THEN 1 ELSE 0 END. В боевых запросах то же пишут короче: условие в скобках и приведение к числу. В PostgreSQL любое сравнение это булево значение, а TRUE::int = 1, FALSE::int = 0: (status = 'active')::int AS is_active, ((age > 18) AND (verified = true))::int AS is_adult_verified Это читается как бизнес-правило. Но короткая запись — это только верхушка айсберга. Настоящая сила в том, что флаг — это число, а числа можно суммировать, усреднять, брать максимум и умножать. Каждая операция даёт отдельный приём. 💡 Флаг существования после LEFT JOIN После LEFT JOIN непарные строки получают NULL в колонках правой таблицы. Проверка на NULL, свёрнутая во флаг, отвечает на вопрос «есть ли связанная запись»: (o.order_id IS NOT NULL)::int AS has_order Дальше has_order работает и как фильтр, и как метрика: «сколько клиентов с заказом» — просто SUM(has_order). 💡 SUM(флаг) — счётчик, AVG(флаг) — доля Раз флаг — это 0 или 1, агрегаты читаются напрямую: SUM(is_active)              -- сколько активных строк AVG(is_active)              -- доля активных (готовый процент) COUNT(*) - SUM(has_order)   -- сколько клиентов без заказа Один проход по таблице вместо трёх запросов с разными WHERE. 💡 MAX(флаг) по группе — «случалось ли хоть раз» Если внутри группы флаг хоть в одной строке равен 1, то MAX по группе тоже даст 1. То есть MAX(флаг) отвечает на вопрос «было ли такое хотя бы раз»: SELECT     user_id,     MAX((amount > 1000)::int) AS had_big_purchase FROM orders GROUP BY user_id Читается так: «у пользователя был хотя бы один заказ дороже 1000». Без трюка пришлось бы писать самоджойн или коррелированный подзапрос. Симметрично работает MIN(флаг) = 1 — «условие выполнилось во всех строках группы». Ставьте 🔥, если было полезно! 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

🤖 Как я использую ИИ? Всем привет! На связи Александр Грудинин, ментор профессии «Аналитик данных» 👋🏻 Сегодня я расскажу, как я использую ИИ в работе. 🧠 Еженедельный отчёт Раньше требовался час, чтобы перебрать Jira руками и перечитать чаты. Теперь агент сам вытаскивает закрытые за неделю тикеты, ходит в Slack, группирует по направлениям, пишет по строке результата на каждый. Я правлю пару строк и публикую. Работает только потому, что для агента написал инструкцию (скилл) + досконально ведём описание задача в Jira. 🧠 Тикеты из встреч Обычная история — обсудили что-то на встрече, но после никто не завёл задачу/не написал постмит. Сейчас все встречи транскрибируются, агент по записи собирает черновик задачи по шаблону. Человек проверяет и подтверждает. 🧠 Ревью своего ресёрча Закончил анализ — отдаю агенту: проверить логику, найти места, где данные не тянут вывод. Один такой прогон вскрывает дыры до того, как их увидели стейкхолдеры. Глаз может «замылиться», и свои ошибки в своём ноутбуке не увидишь, а агент видит. 🧠 Продакшн-разработка Не пет-проекты, а боевые репозитории: SQL и дата-сорсы для Tableau, даги в Airflow. Агент пишет код по тикету, гоняет тесты, проходит CI и ревью на общих основаниях. Доходит до забавного, в истории коммитов в Git уже порой не отличишь, где человек, а где агент. Секрет не в модели: в каждом репозитории лежит файл с правилами/скиллами — стайлгайд SQL, конвенции проекта, как деплоить, как тестировать, какая схема данных и т. д. и т. п. Агент читает всё это в начале сессии и пишет так, как принято у нас. Ну и конечно, есть разного по мелочи — почитать Confluence, поискать в интернете, собрать google sheet и т. д. и т. п. А как вы используете ИИ? 🙂 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

VAR — математическая взаимосвязь рядов Всем привет, с вами Павел Беляев, ведущий канала Тимлидское об аналитике и автор курса «Временные ряды» 👋🏻 Анализировать один временной ряд — это хорошо, а два и более — лучше! В природе и в бизнесе метрики, как правило, не существуют изолированно — на них что-то влияет, какие-то процессы, факторы, словом, другие метрики. Это сложное взаимодействие разных процессов подводит нас к понятию многомерных временных рядов. Например, мы анализируем продажи, но на них влияет маркетинговый бюджет. А бюджет, в свою очередь, зависит от продаж прошлого месяца (логично — есть деньги, есть, что вкладывать). Получается замкнутый круг взаимных влияний, и обычная ARIMA тут не поможет — она умеет работать только с одним рядом. Вот тут на сцену выходит VAR — Vector AutoRegression, векторная авторегрессия. Идея в том, что каждая переменная в системе объясняется не только своими прошлыми значениями, но и прошлыми значениями всех остальных переменных. Продажи зависят от старых продаж и старого бюджета. Бюджет зависит от старого бюджета и старых продаж. Всё сразу, в одной модели. Что это даёт на практике: ➖ Совместный прогноз сразу нескольких метрик с учётом их взаимного влияния. ➖ Причинность по Грейнджеру — можем формально проверить, помогает ли история одного ряда предсказывать другой. ➖ Impulse Response Functions — можно смоделировать «шок» в одной переменной и посмотреть, как он расходится по системе во времени. А подсказывает нам, как изменится зависимая, неуправляемая метрика, если мы "подтолкнем" управляемую. 📈 В этом блокноте показано, как выглядит работа с VAR. На выходе мы имеем коэффициенты системы линейных уравнений, где количество уравнений равно количеству метрик в многомерном ряду, а число членов — это число значимых лагов, то есть, предыдущих значений в каждом ряду. Эти коэффициенты, по сути, объясняют, какой лаг какой метрики влияет на всю систему. Непривычному взгляду, наверно, покажется сложным. На нашем курсе по временным рядам мы подробно разбираем VAR в теории и на скриптах: как выбрать порядок модели, как проверить стационарность многомерной системы, как интерпретировать результаты и не наступить на грабли ложной причинности. Хотите научиться видеть не отдельные ряды, а целые системы взаимосвязанных процессов? Присоединяйтесь к курсу «Временные ряды», который стартует уже в субботу, 15 августа: 📌 Узнать больше о курсе «Временные ряды» 📌 Подписаться на бота уведомлений 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻💻💻💻💻День джуна в прямом эфире! Представьте, что уже сегодня вы решили стать аналитиком. На нашем вебинаре за 1,5 часа вы пройдёте все этапы, через которые проходит почти каждый кандидат: получите тестовое, разберете его вместе с тимлидом одного из крупнейших банков страны, а затем окажетесь на собеседовании с HR и узнаете, что на самом деле влияет на решение работодателя. Итого за 90 минут вы проживете путь начинающего аналитика — от отклика на вакансию до первого собеседования! ➖ Вместе с лидом группы CRM-аналитики Альфа-Банка вы разберете реальный кейс, максимально похожий на то, что работодатель хочет увидеть в вашем портфолио. ➖ А HR с многолетним опытом найма IT-специалистов расскажет, какие навыки действительно востребованы на рынке аналитики в 2026 году и что поможет выделиться среди других кандидатов, даже если вы только начинаете карьеру. Спикеры: 🧑🏻‍💻 Евгений Буторин, руководитель CRM-аналитики развития клиентской базы в Альфа Банке, ментор бесплатного интенсива по SQL 👩🏻‍💻 Наталья Рожкова, HR и карьерный консультант Симулейтив, ex-Ancor IT recruitment 📆 Когда: 11 августа, 19:00 МСК ➡️ Поставить напоминание в календарь 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

#проанализировали_и_поняли

Зачем нужна декомпозиция и фильтрация временных рядов? Всем привет, с вами Павел Беляев, ведущий канала Тимлидское об аналитике и автор курса «Временные ряды» 👋🏻 Первое, что хочется сделать аналитику при виде некоторой кривой, растянувшейся по временной оси — декомпозировать её на составляющие. (В общем-то, даже визуально можно их увидеть, не применяя специальных методов.) Почему же дата-аналитик мгновенно производит эту процедуру в уме? Потому что компоненты ряда — тренд, сезонность, всплески, не календарная цикличность — дают ответы на основные вопросы аналитики. Как себя ведет метрика? Растёт в целом? А это не просто сезонный осенний подъём? Этой осенью лучше, чем прошлой осенью? Особенно пристально изучаются составляющие метрик, с которыми аналитик только начинает знакомство. Например, вот я пришел в новую компанию на должность аналитика, меня пускают к данным о продажах. Конечно, я захочу узнать, какова структура спроса — в какие месяцы имеет место рост, а в какие спад. То же насчёт внутринедельной сезонности. Также очень важно понять, как себя чувствует кампания в целом, и важнейшей опорой для ответа будет именно кривая тренда. Она может быть прямой или изогнутой, может менять направление (ломаться), а точки перелома, скорее всего, соответствуют каким-то значимым событиям внутри компании или снаружи её. Кроме полезных компонентов чаще всего есть в данных и случайная составляющая — шум. Желательно её как-то сгладить, отфильтровать так, чтобы не потерять ценных данных. Вокруг интереса к теме декомпозиции и фильтрации временных рядов умные люди создали целый подраздел науки — методы, математический аппарат и, конечно, функции на питоне. 💡 Кстати, самый простой способ декомпозировать временной ряд — применить функцию seasonal_decompose(). На вход она получает сам ряд, его модель (аддитивная или мультипликативная) и предполагаемый период сезонности. На выходе получаем расклад по компонентам, который легко визуализируется. 📈 Загляните в этот демонстрационный блокнот, ведь лучше увидеть код и графики, чем читать текст, правда? Эта функция проста в применении, но не очень аккуратна. На курсе мы внимательно рассматриваем более продвинутые методы и алгоритмы с разбором на питоне. Такой арсенал позволяет делать уже серьёзную аналитику сложных «естественных» рядов, максимально точно разделяя их на компоненты. 📌 Узнать больше о курсе «Временные ряды» 📌 Подписаться на бота 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻💻💻💻💻 Практика по BI: строим дашборды на реальном кейсе Написать запрос — половина работы аналитика. Вторая начинается там, где цифры нужно превратить в дашборд, который поймут без вас коллеги, руководитель, заказчик и т. д. Этот навык одинаково нужен и джуну на старте — без него не пройти собеседование, где просят показать визуализацию — и действующему аналитику, которому важно, чтобы на его выводы реально опирались при решениях. Сегодня вместе с Павлом Беляевым, руководителем группы дата-аналитиков в Яндекс eLama, разберём это на практике: построим дашборды и графики на реальной бизнес-задаче в Metabase. На вебинаре вы: ➡️ Пройдёте весь путь от сырых данных до готового дашборда на реальном кейсе; ➡️ Разберётесь, как выбирать графики под задачу и не перегружать дашборд лишним; ➡️ Потренируетесь работать в Metabase; ➡️ Узнаете, как Павел смотрит на рынок аналитики данных прямо сейчас. 📆 6 августа, 19:00 МСК, онлайн ➡️ Поставить напоминание в календарь 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻 Острова и промежутки в SQL Всем привет! На связи Александр Грудинин, ментор профессии «Аналитик данных» 👋🏻 Разберём приём в SQL, который порой выглядит как магия, а держится на простой арифметике. Называется islands and gaps, «острова и промежутки». ✅ Задача Найти пользователей, которые заходили в сервис 5 и более дней подряд. Как только начинаешь думать про «подряд», в голове каша из «оконок» и самосоединений. А решается всё элегантно. ✅ В чём фокус Вот как выглядят даты входов одного пользователя. Заходил 3, 4, 5, 6, 7 января, потом пропал, вернулся 9 и 10: 2024-01-03 ← остров 1 2024-01-04 2024-01-05 2024-01-06 2024-01-07 2024-01-09 ← остров 2 2024-01-10 Глазами острова видно сразу: первый на пять дней, второй на два. А как объяснить это SQL? Хитрость такая: пронумеруем даты по порядку и вычтем номер из даты. Пока дни идут подряд, эта разность постоянна. Появился пропуск между 7 и 9 января: номер продолжает расти на 1, а дата скакнула на 3, разность подскочила и начался новый остров. Эта константа и есть идентификатор группы. ✅ Решение with base as ( select user_id, login_ts::date as login_dt -- берём дату без времени: 10 входов за день это один день from user_logins group by 1, 2 -- схлопываем до одной строки на пользователя и день ), grps as ( select user_id, login_dt, row_number() over(partition by user_id order by login_dt) as rn, login_dt - row_number() over(partition by user_id order by login_dt)::int as grp from base ) select user_id, count(login_dt) as cnt from grps group by user_id, grp having count(login_dt) >= 5 Три шага. Первый: схлопываем таймстемпы до дат через group by, потому что может быть десять входов за день это всё равно один день. Второй: нумеруем дни и вычитаем номер из даты, получаем grp, идентификатор острова. Третий: группируем по пользователю и острову, оставляем серии от 5 дней. Пример на PostgreSQL, в разных диалектах арифметика с датами устроена по-своему, так что вычитание номера из даты придётся адаптировать под ClickHouse, BigQuery и прочие. Ставьте 🔥, если полезно! 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

📈 Этот лайфхак экономит кучу времени при создании дашбордов Привет, друзья! На связи Евгений Буторин, ментор интенсива по SQL и руководитель направления аналитики в Альфа Банке 👋🏻 Хочу рассказать вам лайфхак, которым пользуюсь каждый раз, когда собираю дашборд под конкретную задачу. Часто вижу, что многие сразу лезут в BI-систему и начинают тянуть сырые таблицы, строить связи и уже потом мучаются с моделью. Я делаю наоборот: 1️⃣ Сначала создаю черновую модель-прототип прямо в Excel. Это помогает чётко понять, какие данные мне нужны и какая структура будет в каждой из таблиц в модели данных. Уже на этом этапе я понимаю, какие будут фильтры и метрики. 2️⃣ После этого я иду в базу данных и собираю необходимые мне данные в нужном формате. Здесь кстати отдельный плюс, что я могу делать это сам — это значительно упрощает процесс. 3️⃣ Только после этого иду в BI-инструмент и уже собираю «боевую» модель. К этому моменту у меня уже есть чёткое понимание: ➖ какие таблицы должны быть; ➖ какая у них должна быть структура; ➖ где лучше сделать вычисляемые столбцы, а где — меры; ➖ какие связи сделать «один ко многим», а какие — «многие ко многим». Самый большой выигрыш здесь — скорость. Да, на старте я трачу больше времени, но экономлю время на сборе данных и переделывании. Попробуйте в следующий раз сначала сделать прототип. Это экономит кучу времени и нервов 😉 Ставьте 🔥 и сохраняйте лайфхак к себе! 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

💻💻💻💻💻 Аналитик данных: кто это и почему ему важно знать SQL Привет! На связи Евгений Буторин, ментор интенсива по SQL 👋🏻 Вам хочется попробовать себя в аналитике, но непонятно, кто такой аналитик на самом деле, что нужно уметь на старте и почему все вокруг твердят именно про SQL? Приходите на мой вебинар — разберём это на реальных примерах и задачах. Разберём: ➖ Кто такой аналитик данных и чем он занимается каждый день на конкретных задачах; ➖ Какие навыки нужны на старте и куда расти дальше — от первого джуна до руководителя отдела; ➖ Порешаем пару реальных SQL-задач вместе и разберём, почему без SQL в аналитике никуда. 🔥 А ещё к нам в гости придёт Михаил Колчар — выпускник Симулейтив, который в 37 лет ушёл из сисадминов в аналитику данных и получил оффер после обучения. Он расскажет свою историю и ответит на любые вопросы прямо в чате! Если присматриваетесь к аналитике или хотите понять, с чего начать, приходите! 📆 4 августа, 19:00 МСК, онлайн ➡️ Ставьте напоминание в календарь, чтобы не забыть! 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

#проанализировали_и_поняли

Доверительный интервал: то, что прячет p-value Всем привет! На связи Александр Грудинин, ментор профессии «Аналитик данных» 👋🏻 Представьте: мы проводим A/B-тест страницы оплаты — контроль 5.00%, тест 5.45%, по 20 000 юзеров, p = 0.043. Значимо, катим. Продакт: «Сколько денег принесёт?» p-value на это не отвечает: он умеет только сказать, похожа ли разница на случайный шум. Размера эффекта и точности в этом числе нет. Отвечает доверительный интервал — диапазон эффекта, совместимый с данными. Считаем на Python: import numpy as np from scipy import stats n_a, conv_a = 20_000, 1000 # контроль: 5.00% n_b, conv_b = 20_000, 1090 # тест: 5.45% p_a, p_b = conv_a / n_a, conv_b / n_b diff = p_b - p_a # точечная оценка: 0.45 п.п. # стандартная ошибка разницы двух долей se = np.sqrt(p_a*(1-p_a)/n_a + p_b*(1-p_b)/n_b) # p-value двустороннего z-теста z = diff / se p_value = 2 * stats.norm.sf(abs(z)) print(f"p-value: {p_value:.3f}") # 0.043 # 95% доверительный интервал lo, hi = diff - 1.96*se, diff + 1.96*se print(f"ДИ: [{lo*100:.2f}; {hi*100:.2f}] п.п.") # [0.01; 0.89] п.п. # то же самое в деньгах users, value = 500_000, 3_000 # юзеров/мес, ₽ с конверсии print(f"от {lo*users*value/1e6:.1f} до {hi*users*value/1e6:.1f} млн ₽/мес") # от 0.2 до 13.3 млн ₽/мес То же p = 0.043 разворачивается в +0.01…+0.89 п.п., или от 0.2 до 13.3 млн ₽/мес при точечной оценке 6.75 млн. Обещать продакту 6.75, когда данные допускают 0.2, — легкомысленно. Обратная ошибка не лучше: «не значимо» ≠ «эффекта нет». Если интервал накрывает и ноль, и ценный эффект — не хватило выборки, а не эффекта. Что делать: в каждом отчёте держите интервал рядом с p-value — в процентных пунктах и в деньгах. p-value говорит только, случайна ли разница; интервал показывает, на сколько она тянет. Результат значим — планируй по нижней границе: 0.2 млн получишь почти наверняка, а 6.75 — это верхний край везения, а не обещание. Ставьте 🔥, если было полезно! 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS

🔥 Попробуйте буткемп по аналитике данных На 3 дня мы открываем демо-доступ к профессии «Аналитик данных»: не скриншоты, не обещания, а реальный формат обучения! Что входит в демо-доступ: ➖ Вводное занятие с преподавателем курса — живой разбор первых материалов; ➖ Чат со студентами потока; ➖ Урок «Современные подходы в промптинге, современные модели» — тот самый ИИ-блок; ➖ Урок «SQL для анализа данных» — первые реальные задачи по SQL! Записывайтесь, в чате уже начали знакомиться! Доступ держим только первые 3 дня буткемпа: 🔥 Получить демо-доступ 📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS