Data Engineering / Инженерия данных / Data Engineer / DWH

описание

Data Engineering: ETL / DWH / Data Pipelines based on Open-Source software. Инженерия данных. ✔ DWH / SQL ✔ Airflow / Python / ETL / dbt / Spark ✔ AI Agents Рекламу не размещаю Вопросы: @iv_shamaev | datatalks.ru

← к каналу @data_engineer_path

2 676

подписчиков

Лучшие посты

за три месяца

28 мая2 449 просмотров8 реакций20 пересылок
Тестовый пример реализации MCP Server на Go для OpenCode ▫️Есть набор specs для написания через агентов с нуля MCP Server (теоретически можно реализовать mcp для взаимодействия с любым ПО) ▫️Сгенерирована документация по разработке MCP Server (GitHub Pages) Сам бинарник возвращает из Яндекс метрики список счётчиков (был под рукой api). Основная цель - понять как реализовать свой mcp для взаимодействия с opencode, как собрать бинарник. 🔗 Исходный код, документация и готовые бинарники доступны в репозитории: https://github.com/ivanshamaev/mcp-server 🔗 Краткая документация по разработке MCP: https://ivanshamaev.github.io/mcp-server/
26 июл.2 094 просмотров50 реакций151 пересылок
🚀 Перевод книги «Architecting an Apache Iceberg Lakehouse» на русский язык. Если вы хотите разобраться, что такое Lakehouse, эта книга — отличная отправная точка. В ней последовательно разбираются: • чем Lakehouse отличается от Data Lake и Data Warehouse; • почему появились открытые табличные форматы (Iceberg, Delta Lake, Hudi); • ACID-транзакции, schema evolution, time travel и другие ключевые возможности современных платформ данных; • архитектурные принципы и практические сценарии применения Lakehouse. 📖 Читать перевод: https://aitech720.github.io/lakehouse/ #DataEngineering #Lakehouse #ApacheIceberg #DeltaLake #DataArchitecture #BigData
10 авг.1 176 просмотров20 реакций58 пересылок
🤖 Что такое SDD и зачем он нужен? Spec-Driven Development (SDD) — подход к разработке, при котором сначала формируется подробная спецификация, а уже потом AI-агент реализует задачу. Вместо: «Напиши мне эту фичу» → код получаем: Требования → Specification → Plan → Tasks → Code → Tests Зачем это нужно? AI-агент умеет быстро писать код, но может неправильно понять задачу. Спецификация фиксирует что именно нужно сделать, ограничения, архитектуру и критерии готовности. SDD превращает AI-кодинг из хаотичного *vibe coding* в управляемый инженерный процесс. 📚 Подробный разбор SDD и инструментов для работы с AI-агентами: 👉 https://datatalks.ru/spec-driven-development/index.html #AI #AIAgents #SDD #SpecDrivenDevelopment #ClaudeCode #Codex #SoftwareEngineering
7 авг.1 047 просмотров20 реакций65 пересылок
🆕 PySpark нейролекции Возможно кому-то поможет в освоении PySpark. С одной стороны нейрослоп и повторы между лекциями, с другой стороны некоторые концепции хорошо прописаны. Раздел с подготовкой к интервью собирался с разных сайтов и материалов. https://datatalks.ru/pyspark/