Data engineering events

https://t.me/de_zoomcamp/1092/1135

Lakehouse для аналитиков и инженеров данных Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.  В программе курса: • Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino.  • Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой.  • Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов. • Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем.  • Построение пайплайнов, инструменты  для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия.  Кто мы: R&D-центр Devhands, наш канал. Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо 🗓 Старт курса: 27 августа Изучить программу и записаться можно здесь. Ждём вас! Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8

https://t.me/de_zoomcamp/1092/1135

Никто глубоко сведущий не хочет зачитать вебинар по стримингу? 🤓😁 • https://t.me/de_zoomcamp/615/1088

https://t.me/de_zoomcamp/1092/1093

Сделаем дискуссии про состояние agentic в de ? + можем побрейнштормить про https://t.me/analytics_engineer/97

Сделаем дискуссии про состояние agentic в de ? + можем побрейнштормить про https://t.me/analytics_engineer/97

Возвращаюсь в онлайн вебинары 🙂 Залечу на вебинар на следующей неделе во вторник в легендарный DataTalksClub к поговорить (угадайте про что 😘) про Agentic для дата инженеров. 📚Описание The Agentic Shift in Data Engineering: From Pipeline Builders to Architects…

Возвращаюсь в онлайн вебинары 🙂 Залечу на вебинар на следующей неделе во вторник в легендарный DataTalksClub к поговорить (угадайте про что 😘) про Agentic для дата инженеров. 📚Описание The Agentic Shift in Data Engineering: From Pipeline Builders to Architects of Controlled Chaos ​AI agents are changing data engineering on two fronts at once. ​In development, they compress the engineering loop: helping write SQL, generate transformations, debug pipelines, create tests, document systems, and reason about legacy codebases. ​In production, they become active participants in the data ecosystem: consuming context, calling tools, triggering workflows, creating side effects, and introducing new forms of operational chaos. ​This changes the role of the data engineer. It is no longer enough to build pipelines that move data from A to B. Data engineers now need to design the control layer for agentic systems: trusted context, data contracts, permissions, observability, audit trails, and closed feedback loops. ​🔮The future data engineer is not just a pipeline builder. They are the architect of controlled autonomy. 🔗 Если интересно, инвайт в Luma - https://luma.com/hpuirqjd

#ClickHouse — тот самый инструмент, про который все говорят: “очень быстрый”, “тащит миллиарды строк”, “почти бесплатный DWH”. А потом ты строишь на нём DWH целиком — и знакомишься с OOM, JOIN’ами, партициями, MergeTree, мутациями и прочей взрослой жизнью 😅 Сам использую ClickHouse как основу DWH, поэтому знаю не только про “вау, он быстрый”, но и про места, где он внезапно начинает кусаться. Если вы прошли этот путь или только планируете — приходите сегодня на открытую встречу. Поэтому особенно интересен честный разбор: — так ли ClickHouse хорош, как его хайпят? — можно ли на нём нормально строить DWH? — что стало или скоро станет лучше с JOIN’ами, OOM и оптимизацией? — как у него сейчас с Iceberg и Lakehouse? — держит ли он удар против наступающего StarRocks? Сегодня DevHands проводят открытую встречу по ClickHouse с Алексеем Белозерским — CDO inSales / СБЕР 2B, ex VK Tech, М.Видео, Эльдорадо. Будет полезно аналитикам, дата-инженерам, backend-разработчикам, инфраструктурным инженерам, тимлидам и CTO — всем, кто уже использует ClickHouse или думает, можно ли на нём строить серьёзную аналитическую платформу. В программе: 🤩 демо кейсов ⚡ потоковая загрузка и фоновые агрегации 🛠 инструменты оптимизации 🧠 хитрые вопросы: потеря данных, TTL, движки, мутации, point-запросы 💬 открытая Q&A-сессия 📅 Когда: 4 июня 2026, 18:00 MSK (да-да, через 10 минут 😁) 🎙 Ведущий: Алексей Белозерский, Chief Data Officer в inSales 🏢 Организатор: R&D-центр DevHands Как попасть: Регистрируйтесь через бота Если ClickHouse у вас уже в проде — я бы сходил хотя бы ради Q&A (да и сходил бы, но только на волейбол уже записался 😅 Надеюсь запись будет)) А eщё у DevHands стартует курс по ClickHouse для аналитиков и инженеров данных. Судя по программе, там не просто “пишем SELECT”, а мясо: архитектура, MergeTree, S3, Kafka, dbt/Airflow, кластеры, оптимизация, troubleshooting, Iceberg/Lakehouse и свежие релизы. Короче, выглядит как хороший повод системно разобраться: ClickHouse — это уже DWH-платформа или всё ещё очень быстрый OLAP-движок с нюансами? Старт 11 июня. Программа тут

https://t.me/data_events/3296

📅 Четверг с Yandex Cloud: изучаем Managed PostgreSQL и Data Lakehouse Уже завтра, 2 апреля, вас ждёт два события от команды Yandex Cloud: 1️⃣ В 14:00 мск встречаемся онлайн с командой продукта — Михаил Савин и Степан Фомичев расскажут, как малому и среднему бизнесу настроить стабильную работу PostgreSQL в 1С без команды администраторов. Регистрация⏪️ Ветка с вопросами и ответами в сообществе⏪️ — разберём миграцию и работу 1С в облаке — посмотрим, чем сборка PostgreSQL для «1С:Предприятия» от Yandex Cloud отличается от стандартной (спойлер: оптимизация на уровне ядра и специальные расширения) — покажем, как построить отказоустойчивую архитектуру — увидим, как развернуть отказоустойчивый кластер для 1С и обеспечить надёжность данных — изучим кейсы пользователей: как выглядят реальные архитектуры клиентов, уже работающих с 1С в облаке. 2️⃣ В 15:30 мск приглашаем вас на митап в Москве (и на прямой эфир). Наша продуктовая команда покажет вам, как развернуть и собрать Lakehouse‑архитектуру на базе сервисов Yandex Cloud — с минимальной ручной интеграцией и быстрым стартом. Регистрация⏪️ Ветка с вопросами и ответами в сообществе⏪️ Вы узнаете, как построить современную аналитику от данных до BI: — как хранить сырые данные в Object Storage (S3) — организовать табличный слой на Iceberg — обрабатывать данные в Trino и Spark — строить быстрые витрины в ClickHouse и доводить результат до дашбордов в DataLens. В финальном докладе поделимся видением: собственный Iceberg REST Catalog для управляемости и контроля доступа, а также AI‑агенты для ускорения работы с кодом и пайплайнами. Спикеры события — команда продуктовых архитекторов Yandex Cloud во главе с лидером продуктовой архитектуры Леонидом Савченковым. На митапе соберём лист ожидания для раннего доступа к новым возможностям!

В еженедельные #анонсы- #дайджесты добавлен гугл-#календарь: https://t.me/Products_Events/1180 #weekly Супер комбо-#Дайджест

https://t.me/de_zoomcamp/615/981

https://t.me/de_zoomcamp/615/981

https://t.me/de_zoomcamp/615/939

https://t.me/data_career/2236

https://t.me/de_zoomcamp/615/863 • и Аношина не зовём!.. а то опять весь эфир зафлудит 😂

https://t.me/devetups/664

https://t.me/data_career/2215