tgindex

Data Engineer

описание

Дата-инженерия в схемах и мемах По всем вопросам — @mobiledeveloper_bot

← к каналу@dataengineernews
477
подписчиков
Охват к подписчикам
67,3%
ERR
Реакции к просмотрам
1,36%
200 на 50 постов
Пересылки к просмотрам
0,85%
124
Постов в день
0,1
всего 89

Где отзываются чаще

доля реакций к просмотрам
  • 14 июл.Дочитал «Архитектуры данных» Джеймса Серры. Товарищ сей мне весьма симпатичен, было время, когда я наблюдал за его каналом на YouTube. Мне импонировало то, что, рассказывая про Data Mesh, он не пытался эксплуатировать тему «самого лучшего кунг-фу», а просто рассказывал свое видение ситуации и предлагал свой критерий соответствия функции данных в компании методологии имени Жамак Дегани. Серра почти 40 лет в IT, 15 из них в хранилищах, «я здесь давно, мне можно верить», короче. Книгу он решил написать, поскольку обратил внимание, что архитектуры данных сложны и «большинство людей не понимают их концепций, если вообще что-то знают о них». Он попытался объективно рассказать о достоинствах и недостатках каждой из представленных архитектур. На мой взгляд, у него получилось. Особенно порадовала глава о проведении дизайн-сессий по разработке архитектуры - хорошее практическое пособие для начинающих архитекторов. Ну, или чек-лист вопросов, которые имеет смысл задать на собеседовании по System Design. По части Data Mesh Серра не стал отделываться общими словами, а прикинул, как оно будет выглядеть на практике. Его вердикт сродни: «Чистого спирта не бывает. Максимум - 96 градусов!». По его мнению, из тех, кто назовет свое решение Data Mesh: ▪️ ~90% внедрят доменное владение ▪️ ~70% данные как продукт ▪️ ~треть осилит самообслуживаемую инфраструктуру ▪️ ~половина федеративное управление В суть Data Mesh вообще мало проник, кроме Трента Кримма, разве что. Сам Серра, по собственному признанию, десятки раз перечитывал блоги Дегани и до сих пор иногда обнаруживает, что понял что-то неправильно. В завершение, как обычно, парочка любимых цитат: «Слухи о смерти реляционных хранилищ данных сильно преувеличены» «Стандартных определений концепций и архитектур данных не существует. Иначе эта книга была бы не нужна.» «Хотя технологии и шагнули далеко вперед, дело не в них - а в людях и процессах, и мы не так хорошо продвинулись в работе с ними. Вы можете придумывать новые крутые словечки и методы, которые вам нравятся, но очень трудно заставить людей измениться.» Поскольку я не являюсь любителем модных словечек и хайпа вокруг них, то книга Джеймса Серры мне понравилась, рекомендуется всем, кто хочет понять суть, а не заниматься жонглированием малопонятными терминами.3,82%
  • 5 июн.Anthropic наконец-то опубликовали свой секретный рецепт для агентной аналитики, и это… Моделирование данных по Кимбаллу (Kimball Data Modeling) Шутка здесь в том, что многие ожидают увидеть какой-то революционный AI-фреймворк, сложную агентную архитектуру или новый research paper, а оказывается, что в основе агентной аналитики лежат старые добрые принципы построения аналитических хранилищ данных по Кимбаллу: факты, измерения, схема звезда, понятные бизнес-сущности и качественно подготовленные данные. Для дата-инженеров и аналитиков это примерно звучит как: Секрет успешных AI-агентов? Сделайте нормальный DWH @tldr_data3,66%
  • 19 сент. 2025 г.Московский марафон (пятничное лирическое отступление) Эпиграф «Московский марафон, ветер северный, На старте в Лужниках в старых трениках … Но не стена обычно губит, А излишне быстрый старт» (Популярная песня из 90х) В времена оны, когда я «на почте служил ямщиком», работал руководителем инженерии данных в одном крупном DIY-ритейлере, ко мне постоянно стучались «косматые геологи», инженеры, (да и не только они, в общем-то), с просьбой выдать им список чудодейственных материалов, которые помогут им стать «лучшей версией себя» и достичь просветления в профессии. Естественно, списки я им давал. Я вообще обожаю составлять списки, мое ОКР не даст соврать. Они были прекрасны, многое я и сейчас готов рекомендовать (и рекомендую), «но что-то его держало». Путем долгой рефлексии (слово-то какое красивое) я понял причину. Ни один из этих материалов, ни даже все они в совокупности не стали для меня лично каким-то прорывом. Настоящим же прорывом, скачком в гиперпространство, разделившим мою карьеру на «до и после», стало решение пробежать Московский Марафон. Подготовка к забегу научила меня распределять силы по дистанции, терпеть, восстанавливаться и расслабляться, «просто делать и делать просто», справляться с «перетреном». В обучении тоже, кстати, есть свой вариант «перетрена» - «синдром вечного студента» - состояние, когда думаешь, что еще одна книга, еще один курс и все, сразу стану самым умным и богатым, но в результате получаешь заход на очередной штрафной круг, а то и тяжелую психологическую травму, отбрасывающую далеко назад. А после финиша пришло понимание, что для меня теперь нет ничего невозможного, я справлюсь с любой задачей, рабочей и не только. Наивный… Я тогда не знал про 400 метров… Ни один самый едкий комментарий самого токсичного код-ревьюера не доставит вам столько боли и страданий, сколько эта, короткая, казалось бы, дистанция. Так что, «всем бег». Это сейчас самый популярный вид спорта в России. Футбольные фанаты не согласны, но сколько их придет даже в Derby Day, если матч назначить на 5 утра, а цена билета будет около 3000? И легких ног, конечно же, всем участвующим! #московскиймарафон #лирическое отступление3,59%
  • 19 авг. 2025 г.без подписи3,09%
  • 30 июл.С недавних пор я официально являюсь сертифицированным руководителем отдела, закончив соответствующий курс в «Стратоплане». Оказывается, руководить людьми довольно просто - «развивай свои сильные стороны, а слабые закрывай шаблонами». Все по бразильской системе, короче… Пришел я сюда с целью «легитимизировать свой опыт», придать ему системный характер. В каком-то хаотичном виде он у меня и так присутствовал… Колес и велосипедов за свою управленческую карьеру я изобрел предостаточное количество. «Обломал немало веток, наломал немало дров», не один штрафной круг по граблям прошел. Мне бы вот все эти мои новые знания четыре года назад, глядишь, бы и не было затянувшегося творческого кризиса с обязательной сменой работы каждый год. А иногда и не один раз… Четыре месяца пролетели незаметно. Менялись темы, менялись преподаватели, неизменными были высокий уровень каждого занятия и заряд энергии, приобретаемый от общения с умными людьми на групповых занятиях. Что мне дал этот курс? 1️⃣ Помог лучше узнать себя, ближе к концу я разобрался, зачем я здесь, для чего это все мне нужно и что делать дальше. 2️⃣ Мой образ жизни стал несколько здоровее, я стал следить за сном, перестал терзать себя чрезмерными беговыми объемами, даже сбросил пару накопленных за период зимней спячки килограммов. «Вы где-нибудь видели топ-менеджера, который пихает в себя всякую гадость?» - в общем. 3️⃣ По DISC-классификации я желто-зеленый. Про желтый цвет и до этого понятно было, а вот зеленый удивил. Правда, после того, как я начал высыпаться, вместо зеленого стал проявляться красный. 4️⃣ GOSPA - очень простой и вместе с тем эффективный метод стратегического планирования. Настолько он меня поразил, что я прямо на занятии полез переписывать свою стратегию, а остаток лекции теперь придется пересматривать в записи. 5️⃣ Куча полезной литературы для дальнейшего самостоятельного развития. На пару лет точно хватит даже с моей скоростью чтения. 6️⃣ Я познакомился с большим количеством умных людей, советы и рекомендации коих очень помогли мне при разборе различных рабочих ситуаций. Всем им за это я премного благодарен. Как и моему бадди, конечно же. Не считая решенных рабочих вопросов, без него не появился бы канал про бег. Также я благодарен всем преподавателям и сотрудникам «Стратоплана» за то, что эти четыре месяца получились такими насыщенными и интересными. Всего-то чуть больше недели прошло, а я уже скучаю. Обязательно вернусь через год.2,80%
  • 19 июн. 2025 г.без подписи2,56%
  • 22 июл.#напочитать Даниэль Пинк - «Драйв» Типичная книга из серии «Литература для бизнеса», построенная по формуле «Проблема-Следствие-Аргументы-Выгода». Много воды, различного рода кейсов из жизни деревень Вилларибо и Виллабаджо. В Вилларибо все еще используют обычное моющее средство и вследствие этого кипятятся, а в Виллабаджо уже рубят. И да, мы идем к вам. Суть первых двух частей можно свести к простой мысли: для творческих задач внутренняя мотивация важнее внешней. Для рутинных задач внешний стимул в короткой перспективе может стать отличным импульсом. Мотивируют людей, согласно Пинку, всего три вещи: 🔹 Автономность - наше стремление к самоуправлению 🔹 Мастерство - побуждение становиться все лучше и лучше в своем деле 🔹 Целеустремленность - явная отсылка к Фейербаху - желание быть частью чего-то большего, чем мы сами Самая полезная - третья часть - полный комплект подсказок, упражнений и ресурсов, призванных помочь создавать условия для поведения, определяемого внутренними желаниями. Ради нее и стоит читать книгу. Цитаты: «Одна из главных причин фрустрации на рабочем месте - несоответствие между тем, что люди должны делать, и тем, что они могут. Слишком простые задачи заставляют их скучать, слишком сложные - тревожиться» «Когда вы будете размышлять о своей цели в жизни, начните с важного вопроса: как звучит ваша главная фраза?» Когда я заступал на пост Head of DE в зеленом (тогда) DIY-ритейлере, у меня была похожая идея с отсылкой на японских императоров, которые в начале своего правления тоже должны были представить некий девиз. Я тогда что-то придумал, следовал выбранному курсу, но нигде это не афишировал, а коль скоро так, то и у меня из головы это вылетело. Но наверняка там что-то было про непрерывное развитие…2,27%
  • 16 сент. 2025 г.Bill Inmon - «Building the Data WareHouse» Параллельно перечитываю фундаментальный труд от легенды мира данных, автора таких концепций, как Data Warehouse и Data Lakehouse, человека с лицом солиста советского ВИА «Верасы», «малиновки голосок заслышавшего». Вклад Билла Инмона в развитие аналитических систем сложно переоценить. Именно он заложил основы, проложил широкую дорогу для последователей, предвидел и описал многое из того, что мы сейчас знаем пусть и под другими названиями. Владимир Ильич Ленин писал: «Кодд и Дейт разбудили Инмона. Инмон развернул революционную агитацию. Ее подхватили, расширили, укрепили, закалили дата-специалисты по всему миру». Методология Инмона - классическое итальянское «катеначчо» - предполагает построение DWH «от обороны», «страшно далек он от конечного пользователя», все равно они не знают, чего хотят, а «самое красивое в футболе - это счет на Tableau». Подход отличает основательность, продуман каждый аспект, «в футболе мелочей не бывает». Но… это все только на самом верхнем уровне, погружаться в детали Инмон не считает нужным. «Бей вперед - игра придет», в общем… Очевидно, что при таком подходе главными действующими лицами в дата-команде становятся «плеймейкеры», классические «десятки» вроде Сандро Маццолы или Джанни Риверы - главные носители знаний о корпоративных данных и процессах, их движущих. Именно они отвечают за доставку данных к конечным пользователям.Подобные исполнители - «штучный товар», при их уходе у компании могут возникнуть серьезные проблемы. Читайте классику, в общем… P.S. Встретил у Инмона интересное слово «fiefdom», что в переводе означает «вотчина». Предлагаю в качестве импортозамещения перестать использовать слово «офис» и заменить его исконно русским. Вотчина данных - это же прекрасно, а CDO, соответственно, - боярин над данными. Лепота! #напочитать2,17%
  • 11 июн. 2025 г.без подписи2,13%
  • 12 авг.Я тоже буду https://t.me/analyticsfromzero/7282,08%
  • 18 июн. 2025 г.без подписи2,05%
  • 6 июн. 2025 г.без подписи2,03%