Data Apps Design

✅ 3 ОФФЕРА, мои мысли и рекомендации по поиску работы в 2026 в Data и IT в целом Салют! Чуть больше месяца назад публиковал пост о том, что открыт к предложениям. 🟢 Результаты: — 3 толковых оффера - RU BigTech, Международный FinTech, Доля в стартапе — 1 отказ. Без адекватной обратной связи. Скорее всего, просто нет матча по деньгам — Возможность структурировать свой опыт и результаты, грамотно презентовать это в CV — Типы предложений: ТК РФ / Contract / Share % — Виды позиций: Lead DE, Лидер Data Platform, Архитектор, Tech Product Owner 🔵 Мои принципы поиска: — Только Network, подача и интерес через контакты и знакомства. Спасибо всем, кто помогал 🙏 — Без HH и прочих агрегаторов. Не верю в их эффективность сегодня. — Прозрачные ожидания и позиционирование. Что могу предложить, и что хочу взамен. 🟡 Собеседования — Кейс-интервью - лучший способ рассказать об ожиданиях и бизнес-проблеме, и понять как сам будешь структурировать проблему. Респект тем, кто так проводит! — Когда нанимал сам, то тоже давал прикладной кейс (прямо с доступом к данным в Snowflake!) — Даже если у тебя нереально крутые достижения, успех будет только тогда, когда ты сумеешь их правильно подать — Правильно и самому становиться в позицию собеседующего – задавать вопросы, собирать информацию — Признать что чего-то не знаешь или не умеешь – это нормально. Рассуждать вслух – лучше чем молчать — Важная для меня мысль: между умением проходить собеседования и умением структурировать реальные проблемы и решать прикладные задачи нет однозначного тождества 🩷 Ключевые рекомендации: 1. Структурируйте свой опыт для CV — Фокус на результатах (не обязанностях) — Достижения и числа, но без фанатизма и откровенного вранья — Без воды, максимум информации в минимум текста — Будь готов ответить по каждому предложению в CV Я уже лет 5 веду записи обо всех задачах и активностях (по типу STAR: Situation - Task - Action - Result). Мне это помогло структурировать достижения и результаты, сфокусироваться на главном, и ничего не забыть. Также сегодня под каждую интересующую вакансию вполне реально сделать индивидуальное резюме с фокусом на перечисленные требования 😉 2. Готовьтесь к интервью — Информация о компании и контексте задач в открытых источниках может дать значительные преимущества — Какой релевантный опыт, навыки и достижения ищут у кандидата — Исходя из описания вакансии можно составить небольшой cheatsheet к подготовке — Если возможно, то узнать, кто будет проводить интервью, и что спрашивать — Cобрать обратную связь и задать вопросы знакомым (кто работает там или ранее там работал) 3. Делайте записи и анализируйте — Календарь интервью, вакансии, этапы, пометки — Что спрашивали и зачем, какой контекст давали, что рассказывали о компании — Рефлексия: как прошло, доволен ли ответами, что бы мог улучшить — Пробелы и слепые зоны можно восполнить в т.ч. с помощью AI (с подачей контекста) Дает возможность быстро прогрессировать и улучшать качество ответов, обучаться по сути. А также сравнивать процессы найма. 4. Диалог — Транслируйте свои ожидания: специфику деятельности, технологии, баланс focus-communications и т.д. — Просите обратную связь (и давайте её) — Диалог это по-взрослому, в хорошей ситуации интерес есть у обеих сторон 5. Choose wisely — Принимайте взвешенные решения — Ориентируйтесь на свои критерии — Критерии имеют разный вес для каждого из нас — Процесс выбора можно привязать к вполне конкретным числам и баллам ⬇️ В первом комментарии к посту будет ссылка на мой подход к структурированию вакансий (откликов) и матрица оценки офферов в Google Sheet 🙃 ❤💬 Если есть интересный опыт и идеи - буду рад пообщаться в комментариях.

⬇ Кому актуально — ставьте «+» или пишите «Чек-лист» в комментариях, пришлю ссылку в ЛС! 👇

👀 DataLens: Бесплатная сказка закончилась. Кейс миграции на Superset (Open Source BI) 1 марта 2026 года заканчивается пробный период Business-тарифов DataLens для тех, кто сидел на Community. Для многих команд это означает выбор: начать платить за каждого пользователя или искать альтернативы. Проблема часто даже не в деньгах, а в ограничениях: доступные визуализации, проблемы с Embedding, отсутствие кастомизации, необходимых коннекторов и vendor lock-in. ◻️ А у меня уже есть кейс! Для B2B Retail Tech построил Production-ready решение, которое полностью принадлежит ему, а не облачному провайдеру. "Мы растем, но платить за каждого зрителя дашборда не хотим. Нужен полный контроль, управление ролями, Row-level security, брендирование, и широкие возможности для клиентской аналитики". 🔵 Что сделал: Мигрировал аналитику на Open Source & Self-hosted стек: Apache Superset + ClickHouse (+ Сube). — 🛠 Инфраструктура: Docker Compose (или K8s) для оркестрации, PostgreSQL для метаданных и Redis для кэша. — 📱 Mobile-First: Nginx сам определяет устройство пользователя и отдает адаптированную мобильную версию дашборда. — 🔐 Security: RBAC, SSL, Secure Cookies, Каждый клиент видит только свои данные. — 🎨 White Label: Лого, Русский язык, Favicon, Красивый домен. Кто не знает - не догадается, что это Superset 😉 — 📊 Analytics enabled: Включил Я.Метрику для Superset – работает даже веб-визор 😀 🟢 Результаты в цифрах и фактах: — ✅ $0 за лицензии. Цена масштабирования = цена VPS. 5 человек или 500 — бюджет тот же. — ✅ Независимость. Данные и инструмент принадлежат компании, а не облачному провайдеру. — ✅ Функционал. Разнообразие визуализаций (ECharts), Embedding, Drill-down, SQL Lab для профи. 💡 Open Source требует прямых рук. Я собрал Production Checklist по внедрению Superset (Инфраструктура, Компоненты, Конфигурация, Network, Кастомизация / White Labeling, Обслуживание). ⬇ Кому актуально — ставьте «+» или пишите «Чек-лист» в комментариях, пришлю ссылку в ЛС! 👇 🌐 @data_apps

😘 Открываю доступ к закрытым записям цикла Designing Modern Data Apps Всем привет! 🟡 Это первые 4 стрима на темы: — Marketing Analytics – ЧАСТЬ 1 — Data Integration – ЧАСТЬ 2 — Extract-Load – ЧАСТЬ 3 — Data Modeling with dbt – ЧАСТЬ 4 🔵 Ключевые особенности: — Это был закрытый запуск с фокусом на практику (сквозной проект) — Код на Github, вся инфра в Я.Облаке — Материалы записаны до бума AI, но актуальности не утратили — Много полезной, концептуальной, прикладной информации 🟢 Если будет положительный отклик, то вскоре открою остальные стримы и доступ к github-репозиторию: — Business Intelligence – ЧАСТЬ 5 — Вопросы и ответы – ЧАСТЬ 6 — Semantic layer / Семантический слой (Cube) – ЧАСТЬ 7 — Setting up environments / Конфигурация сред – ЧАСТЬ 8 — Orchestrating jobs & DAGs / Оркестрация запусков – ЧАСТЬ 9 — Advanced modeling / Продвинутое моделирование данных – ЧАСТЬ 10 — Вопросы и ответы / Обсуждение результатов – ЧАСТЬ 11 🩷 Если будет очень большой интерес - то сделаю новый, обновленный запуск с учетом всех изменений и моих знаний, полученных за это время. 📊 YouTube плейлист: https://www.youtube.com/playlist?list=PLaJB0sPwixnP1iov175SpkUpzfd_s85s8 💬 Задавайте вопросы, оставляйте комментарии, делитесь с теми, кому может быть интересно. 🌐 @data_apps

☄ Открыт к предложениям: Staff Data Engineer / Data Platform Lead За 11+ лет я прошел путь от аналитика до лида и архитектора дата-платформ. Умею строить инфраструктуру, которая создает ценность, экономит деньги бизнесу и нервы инженерам. 🚀 Что могу — Строить платформы с нуля: Greenfield Data Platform (ClickHouse, Trino, Kafka, dbt, dlt, Superset, anything...) — от Excel до enterprise-grade — Снижать TCO в разы: миграции (Snowflake / Clickhouse / Trino), замена SaaS на self-hosted решения, оптимизация костов — Real-time без компромиссов: Kafka + Debezium + Flink — Security by Design: PII/GDPR compliance, RBAC, Data Contracts — DevEx как мультипликатор: Everything as Code, CI/CD, DevContainers 🧠 Мои принципы — Business Value First: Технологии должны окупаться — Maintainability > быстрые хаки: Решения, которые можно развивать, а не только чинить — Инженерная культура > hero-mode: процессы, документация, автоматизация — Build vs Buy > хайп: Open Source там, где это даёт контроль и экономию — Stakeholder Management: управляю ожиданиями, говорю на языке бизнеса 🎯 Что ищу — Роль: Staff/Lead Data Engineer, Data Platform Lead, Solutions Architect — Компания: Продуктовая с сильной инженерной культурой или амбициозный стартап с интересной data-задачей — Интересно: Greenfield, Модернизация стека, Lakehouse, Streaming, ML/AI-платформы — Также открыт к консалтинговым проектам (архитектура, аудит, построение платформ) 💬 КОНТАКТ — Telegram: @kzzzr — Email: artemiy.kozyr@gmail.com — CV по запросу Буду благодарен рекомендациям.

Data Apps Design pinned «📊 Я работал в Wheely 6 лет и вот результаты Результат - единственная валюта, которую принимают в банке жизни 😌 — Спроектировал и реализовал миграцию аналитической платформы Redshift → Snowflake: -45% расходов в моменте ($3.6k → $2k/мес), без простоя бизнеса.…»

— Всем нужно заполнять какую-то чушь, что-то обещать с три короба, планировать, привязывать к каким-то циферкам — Можно запланировать супер амбициозную и сложную цель и выполнить на 90% - получишь отрицательную оценку (мой случай) — А можно пустить пыль в глаза и перевыполнить легкую цель - можешь получить повышение (не факт) — Оценка – чистая субъективщина — Используется как обоснование для принятия решений, в т.ч. увольнения Иначе говоря, это просто легальное обоснование для принятых неудобных решений. Ну-у, Вася, перформанс у тебя так себе, пора прощаться 🔻 ✔ Сама модель бизнеса зарекомендовала себя как весьма скромный (местами отрицательный) hypergrowth ◻️ Не претензии, просто наблюдение: — За 6 лет он особо не вырос — Потенциала тоже особо нет, есть преграды и барьеры рынков и регуляторов — Мега-фичей и disruption в этом бизнесе не ждите Если бы я 6 лет назад начал работу в бодром ФинТехе, были бы другие результаты. Были за это время интересные офферы. Но, увы, сослагательного наклонения нет. Отдельного внимания заслуживает возня с РКН ◾️ — Они нас вычислили и блокнули! — А мы им новый proxy mega VPN — А мы их по IP и по GEO! ——— Я бы может еще чего накинул, но уже устал. Бывшие коллеги, налетайте 😆 👍 Причины ухода Коротко: — Ты на удаленной работе (да, вы же и заставили меня подписать доп. согл. к Трудовому договору) — Ехать на Кипр не хочешь — Разработай процесс найма, найми людей — Нанял - обучи, передай опыт, объясни всё — Спасибо, люди в РФ не нужны, приняли решение с тобой попрощаться Ехать на Кипр на птичьих правах и работать на контракте, который привязывает к работодателю и может быть не продлен. Может кому-то это и ОК условия, но не мне. Всё ожидаемо и понятно. Претензий нет. ✅ Основные выводы — Автономность, гибкость, свобода выбора и решений, ответственность – редкая ценность — Перестал соответствовать чьим-либо ожиданиям - выбыл. Ты лишнее звено и тебя изымают (однако это работает, в принципе, для всех. Даже для тех, кто эти звенья сегодня изымает 😌) — Доминирующий взгляд работодателя: нужны удобные люди-функции; эмоции, мотивации и отношения людей интересуют и значат мало — Думай о себе, в первую очередь. Развивайся, расти, делай качественно, люби своё дело — Time is a resource that once you’ve spent it - it’s gone В общем, спасибо. Двигаемся дальше.

.. (продолжение) Минусы Постепенно все плюсы стали меркнуть, тучки сгущаться. Процессы стали хиреть, бюрократия - расцветать. ✔ Культура менеджмента и управления по сути сводится к: “Делаем всё как говорит Главный” 🔸 И неважно, прав он или нет. Разбирается в этом вопросе или нет. Просто он так хочет (сказал). Just make him happy. Это в принципе девиз любого менеджера, который хочет успеха в компании. Иначе он долго не задерживается 😆 Sad but true. ✔ Бюрократия и палки в колеса вместо свободы действий и изменений ◻️ Львиная доля моих результатов и изменений - это моя личная инициатива, которую я сам тащил как мог снизу вверх. Менеджеру это не надо. В его глазах такая инциатива – еще один риск: “Сейчас ОК. А вдруг хуже станет. Ну нах, лучше придержу”. Поэтому: “Оцени; Напиши письмо; Сделай созвон; Задай вопрос; Сделай расчет в Google Sheet; Создай страницу на 20 листов в Notion” и прочий булшит. Ну, в принципе, у меня после такого отношения мотивация утрачивается. 🔵 На примере Snowflake: — Я договорился с вендором, общался с сейлзами, постоянные созвоны где тебя пушат: "КУПИИИИ" — Трижды запрашивал trial credits чтобы 120% всё протестить и не обосраться — Писал писульки и странички в Notion — Брал кредит доверия, всех успокаивал, объяснял и пр. — Работал значительно больше всё это время, т.к. никто не отменял основную нагрузку 🟢 В следующую инициативу (Kafka + Debezium) моя мотивация вовсе сломалась. Миграция не прошла 100% гладко (и это ОК). В сухом остатке: избавились от жадного вендора (считай ELT бесплатно), всё стало рилтайм, данные всегда внутри контура компании. 🧐 Но! Я получил отрицательную оценку на perf. review и пришел к странному выводу: Оптимальная стратегия в такой ситуации - минимум инициативности, делаем то, что говорят (хотят), и не больше. (Так нельзя! Беги, если не хочешь покрыться мхом! 🔹) ✔ Низкая динамика в культуре разработки и technology adoption Если коротко, то равняться (быть мотивированным, учиться, следовать, обмениваться, синергироваться, как угодно) на кого-то было проблематично. Извне можно разобраться на этом показателе: — Обычно компании стремятся выступать на конференциях, делать доклады, мотивировать сотрудников. — Выступления есть тогда, когда есть о чем рассказать. Я, в целом, не берусь судить обо всех направления, но вот маленький факт: — В блоге Wheely на Хабр (давно почил) всего 3 публикации. Две из них мои. На чистом энтузиазме созданные, никто за это мне не доплачивал. — Вместо спасибо через год только прибежал менеджер: “Главному не понравилось, что ты опубликовал суррогатник ObjectID, срочно исправляй, иначе чих-пых!” 🟦 Позже были попытки мотивировать людей писать за деньги. Преподносилось с помпой: Вот сейчас-то у нас целых блог технологический разовьется (company brand, bla-bla) 🟦 Но что-то даже за деньги никто ничего не написал 😁 ✔ Странные решения в найме Я 6 лет наблюдал постоянный и бурный найм (текучку) Data Scientists. — Нам не нужны Data Engineers: всё и так норм работает. Зачем развивать и усиливать команду. — Нам нужны только Data Scientists. Потому что это модно, так сказал Главный. — Люди приходили, видили, что никакого сайнса нет, надо SQL писать, чуток задерживались и уходили. Я видел найм человечка на грейд IC5 (у меня был IC3) с улицы. “Ну ему же кушать нечего будет в Лондоне” 😭😆 За все 6 лет из Data Science я не увидел прорывных результатов. Все поделки - курам на смех. Айрфлоу с хардкод-SQL в кавычках, который ломался буквально “завтра”, когда другой рукой менялся набор колонок ⚪️ ✔ Сам я за все 6 лет получил только одно повышение грейда 🟢 Буквально на “слове пацана” поймал 😂 Типа сделаешь Snowflake, тогда и будет. И то, с опозданием в пару меяцев. А также 2-3 индексации ЗП за эти годы. Все исключительно только тогда, когда я приходил с оффером (удивительно, да? 😀). ✔ Система оценки Performance Review 🟫 Идея - благая. Исполнение - незачет. По факту расклад такой:

📊 Я работал в Wheely 6 лет и вот результаты Результат - единственная валюта, которую принимают в банке жизни 😌 — Спроектировал и реализовал миграцию аналитической платформы Redshift → Snowflake: -45% расходов в моменте ($3.6k → $2k/мес), без простоя бизнеса. — Построил self-hosted платформу real-time streaming (Kafka + Debezium) вместо SaaS-инжеста: ~$20,000/год экономии и полный контроль по security/PII. — Оптимизировал использование и лицензии Looker: ~50% (~$40,000/год) экономии при продлении без ущерба для процессов, и далее переход на Metabase (Open Source) — Участие в разработке MetricView — высокопроизводительный BI-инструмент для C-level (на базе Observable Framework) с надежным CI/CD. — Вёл функцию Data Engineering для компании из 150+ сотрудников; обеспечил 100% покрытие мониторингом пайплайнов и <1 минуты задержку данных для критичных операционных потоков. — Стандартизировал DevEx через DevContainers (онбординг с дней до ~1 часа) и инженерные процессы для data/BI (CI/CD, monitoring, alerting). 🟡 Как всё начиналось На момент найма: — Практики и стандарты Data Engineering не соответствовали реалиям и вызовам — Требовался человек plug-n-play, который придет и быстро наведет порядок — Возьмет под контроль дальнейшее развитие И я им стал. — Сначала у меня было 3 месяца на offboarding ELT SaaS Alooma (куплен Google) без affecting business — Затем оптимизации и устойчивость к ошибкам в dbt (Redshift) - все устали от ежедневных падений и отсутствия данных — Затем миграция с Amplitude на Snowplow — И далее, далее, не останавливаемся Было динамично и интересно. Каждый день новое сражение, перспективные технологии, высокая ответственность и свобода выбора решений (покуда ты создаешь ценность и результаты). ➕ Плюсы 🔵 Гибкость и живость Нужен результат – делаем, чего ждать. Минимум бюрократических процедур, задержек и прочего bullshit. После работы в корпорациях было удивительно, что так быстро можно создавать результаты и влиять на процессы. Буквально в течение дня можно было вывести в прод несколько фичей. Конечно, это нравилось. 🟢 Современные технологии Я работал с dbt, Looker, AWS, Redshift, впоследствии Snowflake. Крутейшие технологии, с которыми приятно работать. Одним из первых я написал на Хабр про dbt. Я буквально видел их путь развития от нишевого тула до техногиганта. 🩷 Ответственность и Impact Сколько свободы, столько и ответственности. Если не я, то никто не починит и не сделает. Если не исправлю, в Пн все увидят кривые графики. Отчасти я сравниваю это с ролью SRE, но в Data. Здорово чувствовать, что ты влияешь на работу других людей, что твой труд уважаем и необходим. 🟤 Также: — Лимит на обучение. Я его тратил на подписку издательство O’Reilly - считаю, что это лучшее вложение — В месяц у меня было около 10К руб. на пользование сервисом (2-4 поездки). Но их меня впоследствии лишили 😂 — ДМС - стандарт. По больницам я не ходок, но и ДМС меня позже лишили 🤪 Продолжение далее ⬇️

⚡ ПЕРЕЗАГРУЗКА этого блога Друзья, привет, Всех с наступвшими праздниками, надеюсь все отдохнули и готовы врываться в 2026. 🟡 Регулярность постов в последнее время была довольно низкой. И вот почему: нет целевого действия, призыва. В какой-то момент я осознал, что контента и идей у меня много, но я не веду читателя к какому-то действию. В целом, идеи появляются, об этом позже. 🔵 Напомню об истории и изначальной идее этого блога: — Около 6 лет назад как практику внедрил создание .md-заметок обо всех выполненных задачах — Задач решалось много (сейчас еще больше), технологии были максимально свежие, актуальные, интересные — Фокус был (и остается) на результатах, создании ценности, рассмотрении задач и тулов через прикладные проблемы — Первый пост в канале появился в 2021-01 (5 лет назад! Ура!) — Минимум рекламы. Никогда не размещал за деньги, максимум: репост по сердцу — Только органический рост аудитории 🟢 Теперь о том, что меня драйвит / зажигает / мотивирует / интресует сейчас: — Продолжаем: Траблшутинг (решение актуальных бизнес-проблем) с использованием современных Data-технологий — Овладение технологиями с т.з. решения конкретных бизнес-задач (кейсов) — Рассмотрение технологий вглубь: сильные, слабые стороны, лучшие практики, применения для определенных ситуаций — Быстрое создание MVP и тестирование гипотез (Рынку нравится? Есть спрос?) — Смена парадигмы от монетизации часов (работы) к монетизации сервисов / продуктов 🩷 Что я думаю о блоггинге в Data и IT в целом 🔺 Поизучал ряд каналов. Мой подход и рецепт такой: изучаю последние 10-20 постов и оцениваю: — Сколько из них запустили мыслительный процесс — Сколько из них вдохновили сотворить какой-либо результат — Сколько из них отразили личный опыт, путь, ошибки и достижения 🔹 Качественные материалы однозначно есть, но достаточно много таких: — Ребята из ABC делают буллшит XYZ и у них очень круто получается. Вам обязательно надо попробовать (нет) — Зайчата из ABC устраивают конфу и вам туда однозначно надо — А вот вам интересная картиночка, а вот вам мемасик 🤪 — Хочу много деняк! Маловато будет! Буду торговаться, offer hunting, накрутка опыта, прочее 😆 🟤 Не откладывая, прямо сейчас пишу следующий пост на тему: Я развивал Data Platform в Wheely 6 лет и вот что вышло В нем расскажу, как начиналась и закончилась моя история в Wheely, поделюсь наблюдениями, выводами, мыслями.

👋 Привет! Давно не виделись. Продуктивно работал, качественно отдыхал. Если сделать выжимку по основным интересам: 🔄 Большой фокус сделал на интеграции данных с помощью dlt. Все пайплайны загрузок (в особенности REST API) теперь строю на этом туле 💾 Запись осуществляю как в традиционные DWH (Snowflake, Clickhouse), так и в Object Storage (Iceberg, Delta) 📊 Значительно продвинулся в использовании Kafka Connect и в частности Debezium для синка данных из операционных СУБД: ad-hoc incremental snapshots, rewind CDC (OpLog) position, преобразования на лету и прочее ☸️ Работал над размещение Kafka + related services в Kubernetes как отказоустойчивого сервиса на базе проекта Strimzi ⚡️ Изучал возможности serverless analytics: (WASM) DuckDB, Matomo 🐳 Вышел на новый уровень использования devcontainer: prebuild & pull, регулярные builds & push свежих версий зависимого ПО, обновления от dependabot 🔐 Совершенствовал безопасность и надежность деплоймента DWH (Snowflake security issues and checklists) 🤖 Прокачивал свой AI enhanced workflow & setup на базе IDE Cursor. В планах пробовать Cline, топовые модельки с OpenRouter ━━━━━━━━━━━━━━━━━━ И, наверное, самая актуальная новость: 🎯 На этой неделе я заканчиваю свою работу в Wheely! Путь длиной в 6 лет подошел к концу. Причины, результаты работы, наблюдения, дальнейшие планы в следующем посте. ━━━━━━━━━━━━━━━━━━ 💬 Какие новости у вас?

😘 Новый доклад: Магия контейнеров для разработки и развертывания (любых!) ваших приложений 🪄 Поделюсь опытом использования Development Containers – технологии, которая радикально упрощает настройку среды разработки для любых проектов. 🎯 О чём расскажу: — Реальный кейс моделирования данных с dbt — Как забыть о "у меня не работает" в команде — Почему devcontainers – это game changer — Практические примеры конфигурации — Оптимизация для CI/CD 💡 Особенно полезно будет: — Тимлидам и техлидам — Data-инженерам — Разработчикам на любом стеке — DevOps-инженерам ⚡️ Ключевые моменты: — Единая среда разработки для всей команды — Работа с микросервисами через docker-compose — Предварительная сборка образов — Поддержка нескольких архитектур (AMD64/ARM) 📺 Смотреть доклад: https://www.youtube.com/watch?v=qTtRF6xpieI 📊 Смотреть слайды: https://drive.google.com/file/d/1-89LR6YQYpHXwzcsGtX4HBquK8vpYHi5/view?usp=sharing 🔗 Полезные ссылки из доклада: — https://containers.dev — https://github.com/devcontainers/spec #devcontainers #development #docker #dbt #dataengineering 💬 P.S.: Задавайте вопросы в комментариях – с радостью отвечу и поделюсь дополнительными материалами! 🙌 🌐 @data_apps | Навигация по каналу

💬 Вам пришло сообщение с приглашением на митап 26 июня приглашаем вас в наш уютный IT-офис. Будем общаться, играть в плойку и слушать доклады. 🔘Как сделать приватное облако на базе Kubernetes по цене смартфона Михаил Старостин, технический директор, VYZOR 🔘Магия контейнеров для разработки и развертывания любого приложения Артемий Козырь, независимый Data-консультант Приглашаем к участию IT-специалистов уровня junior+, количество участников ограничено, спешите зарегистрироваться. ➡️ 26 июня, сбор с 18:30, старт в 19:00 📍ул. Войкова, 2 — IT-офис Сбера, Сочи Приходите, обменивайтесь опытом и заряжайтесь новыми идеями. Ждём вас!

🆕 Что насчет StarRocks? Салют! 19 июня в 19:00 МСК будем слушать 2 шикарных доклада и беседовать с практиками: — Как мы нашли замену vertica, clickhouse и hadoop – Станислав Лысиков — Опыт использования Starrocks как Unified SQL Engine – Алексей Дёмин 🟡В этот раз я буду модератором, готовлю интересные вопросы и гипотезы, и вам рекомендую! 📊 Митап состоится онлайн, регистрация по ссылке. Сообщество пользователей подготовило 2 доклада, охватывающие весь спектр задач - от типичного dwh небольшой компании до использования lakehouse движка поверх S3 и открытых форматов. От часовых витрин до bi безумия из сотен тысяч запросов. Мы постараемся ответить - жив ли еще опенсорс, есть ли альтернатива кликхаузу, гринпламу или трино. А если вдруг что-то забудем, то после докладов приглашаем вас на сессию вопросов и ответов в zoom к докладчикам 👍 🌐 @data_apps | Навигация по каналу

🆕 Полностью БЕССЕРВЕРНЫЕ Аналитические Приложения на dlt, DuckDB, dbt, Observable (Streamlit) Или как собрать аналитическое приложение за $2 в месяц. Изучая стек dlt + DuckDB + dbt + Observable (Streamlit), я наткнулся на интересную архитектуру. Оказывается, можно создать функциональное, но в то же время легковесное аналитическое приложение, которое работает почти без серверов. 🟡 Конкретная схема: GitHub Actions (CI) → dlt загружает данные → dbt трансформирует → DuckDB файл → S3/Object storage → Observable/Streamlit читает DuckDB-WASM в браузере 🔵 Реальные цифры: — Object storage / S3: $0.015 за GB хранения — GitHub Actions: 2000 минут бесплатно — Observable: бесплатно — Итого: ~$2/месяц для приложения с 10GB данных 🟢 Что получается: ✅ Дашборд грузится за 200ms (всё в браузере) ✅ Работает офлайн после первой загрузки ✅ Выдерживает любые нагрузки (статика!) ✅ Автообновление через GitHub Actions 🔴 Ограничения (честно): ❌ Размер данных ограничен памятью браузера (~2-4GB), но вряд ли нам вообще понадобится больше (ведь хранить мы будем агрегированные витрины) ❌ Сложные real-time обновления проблематичны ❌ Нет серверной логики для сложной авторизации ❌ Ограниченная интерактивность и self-service (для этого нужны BI типа Superset) 🟤 Где это работает лучше всего: — B2B SaaS аналитика для клиентов / Сквозная аналитика / Sales, Markeplace metrics, etc. — Встраиваемая (Embedded) в web / mobile apps аналитика — Демонстрационные стенды (showcasing) — Публичная аналитика (типа COVID дашбордов) — Дашборды для внутреннего контура компании (до 1000 сотрудников) — Персональные и pet-проекты с историческими данными ✅ Такой подход особенно хорош для стартапов и небольших команд - вместо настройки сервисов, Kubernetes кластеров, организации потоков данных можно получать результат за один коммит в моно-репо в GitHub. ⬇ Конкретный пример использования: — Собираем данные Я.Метрика, Я.Директ, AmoCRM (Bitrix) с помощью dlt в DuckDB — Варим эти данные, чистим, нормализуем, объединяем, считаем витрины (dbt + DuckDB) — Создаем интерактивное приложение на основе Observable с DuckDB-WASM под капотом (т.е. бразуер = сервер, который процессит витрину в DuckDB) — В приложении видим динамику ключевых метрик Marketing, Sales разрезах: даты, каналы, георгафия, воронки, sales-менеджеры — Приложение = статический вебсайт, который размещается на любом хостинге (Object storage / S3) и не требует сервера 💬 У кого какие мнения на этот счет? Где еще можно (нужно) применить такой подход? Кто пробовал похожие решения? 🌐 @data_apps | Навигация по каналу

🪙 Почему люди ищут новую работу и проекты? Привет! Рассуждаю вслух и делаю выводы из своего опыта: 🟡 Востребованность результатов — Делать что-то и видеть, как это помогает другим людям — Создавать нечто новое, ранее не существовавшее — Помогать получать конкурентные преимущества и выигрывать борьбу — Непосредственно участвовать в создании ценности — Чувствовать себя незаменимым и востребованным Определенно, это лучше чем: — Быть винтиком системы, который ни на что не влияет — И может быть легко заменен — Не видеть смысла в своей работе — Или обманывать себя насчет этого смысла — Забыть про драйв и позитивные эмоции, связанные с работой 🔵 Технологии, с которыми вы работаете — Использование гибких, передовых решений, отвечающим духу времени — Создание собственных решений — Иметь инструменты и влияние на то как осуществляются операции — Сравнивать и оценивать подходы и инструменты, выбирать лучшее Против: — Работа в заданных рамках со стеком, который вы не выбирали — Копошение в legacy, порожденном чужими ошибками и неправильным выбором — Отставание, устаревание, следование на несколько шагов позади — Невозможность найти адекватное решение для возникающих задач 🩷 Команда и окружение — Работа бок о бок с сильными специалистами — Которые вдохновляют и мотивируют — У которых есть чему учиться — И нет страха показаться глупым или задать вопрос Против: — Работа в токсичной среде — Работа ради выполнения KPI (написания письма, закрытие тикета) — Где нет рычага и ощущуения, что команда это нечто большее чем каждый человек по-отдельности — Где все позиции, продвижения, премии выдаются не за достижения, а "по связям" 🟢 Деньги Это важный аспект, но его ставлю на последнее место. Определенно, труд должен быть оплачен соразмерно результатам и усилиям, в этом сомнений нет. Сегодня размер заработной платы - это одно из основных мерил привлекательности. Плохо, когда она - единственный критерий. Я мыслю с другой стороны: 🪙 Деньги придут, если вы занимаетесь востребованными и интересными вещами, и делаете это лучше других. 🔥Сегодня мой друг Николай Валиотти из LEFT JOIN ищет человека с навыками BigQuery, GCP и dbt. Это отличный способ получить международный опыт в динамичной и конкурентной среде с востребованными технологиями. 📊 Посмотреть предложения и откликнуться: https://valiottianalytics.huntflow.io/ Немного позже я поделюсь своим видением (путеводной звездой) того, что хотел бы предложить рынку: — В плане технологического стека — В плане решения востребованных бизнес-задач и создания ценности — В плане организации команды и партнерства, где каждый может развиваться 🌐 @data_apps | Навигация по каналу

▶ СЛАЙДЫ dbt как де-факто стандарт создания Хранилищ Данных Привет, По следам доклада на ОФФЛАЙН митапе в Сочи: 📊 Смотреть слайды: https://drive.google.com/file/d/17nZnuRBzH6xDL5Cku56daA1Uqs2t5Ssr/view?usp=sharing ✅ Основные идеи: 🏆 dbt - индустриальный стандарт для трансформации данных в DWH ✍️ Позволяет писать, тестировать, документировать трансформации как SQL-код ☁️ Работает поверх современных облачных и on-premise платформ (Snowflake, BigQuery, Redshift, Databricks, Postgres и др.) 🏆 Использует лучшие практики разработки: версионирование, модульность, CI/CD, документация Было много вопросов и заблуждений по поводу концепта dbt, поэтому дублирую: — С т.з. манипуляции данными dbt умеет ровно столько, сколько умеет ваша аналитическая БД — dbt не пропускает данные через себя, а лишь "раздает" команды БД, которая выполняет все операции (heavy lifting) — dbt это просто python package с удобным CLI — Рассматривайте dbt как мультитул-автоматизацию для работы с вашей аналитической БД ❤ Наблюдения и выводы: — Тема вызвала живой интерес и поток вопросов (которые продолжились после выступления) — Отметил, что даже сложные концепты в подаче с простыми примерами и доступными формулировками легко воспринимаются даже неподготовленным слушателем — Обрел старых (Станислав, привет 🙂!) и новых друзей и единомышленников — Стихийно организовалась afterparty в соседнем ресторане с обсуждением смежных тем, обменом опыта и знакомствами — Зарядился на дальнейшие планы и шаги, о которых буду сообщать Запись, к сожалению, не велась. 😘 Если будет хотя бы 3-5 комментариев-запросов, то я сделаю видеозапись по этим слайдам и идеям и выложу на YouTube / RuTube. 🌐 @data_apps | Навигация по каналу

➕ ОФФЛАЙН МИТАП в Сочи: dbt как де-факто стандарт создания Хранилищ Данных Салют! Выступлю в Сочи на площадке ИТ-хаба СБЕР У меня будет ~30 минут чтобы зарядить вас, сделать увлекательно, интересно и познавательно: — Ликбез для тех, кто пока не в курсе, что такое dbt — Обзор эволюции развития dbt и продуктов dbt Labs — Зачем вам dbt? Сравнение До / После — Лучшие практики без воды после моих 5+ лет в проде 💡Время: 15 мая, сбор с 18:30, старт в 19:00 📍Где: ул. Войкова, 2 — IT-офис Сбера, Сочи Регистрация: https://public.oprosso.sberbank.ru/p/hw0rd7yo 🔻 У кого есть возможность прийти и пообщаться – буду рад. Запись тоже постараюсь сделать. 🌐 @data_apps | Навигация по каналу

😘 Семантический Слой и Метрики - всё что вы хотели знать / Semantic Layer / Gen AI / Synmetrix / Cube 🟢 В новом выпуске подкаста обсудили концепцию Semantic Layer – Семантический слой — Эволюция работы с метриками. Почему вообще возникает проблема которую…

Data Apps Design pinned «⛈ Universal dbt deployment (CD) and testing (CI) workflows, Data Integration via dlt, devcontainers advancements Привет! Updates + ideas sharing за последние несколько недель: 🟡 Мгновенные универсальные и идентичные среды разработки на базе devcontainers…»