Инженерообязанный🫡 | Владимир Шустиков | Инженер Данных | Аналитик Данных

Легенда для Дата Инженера за 1 промпт! Составляем Резюме Буквально 1 промпт, который из любой твоей истории сделает готовую легенду для Дата Инженера. Это не кликбейт. Я реально на вайбкодил готовый сервис для сборки вашего рассказа на собесе и резюме. А также показал, как его составить, чтобы вас не скипали. Смотрите на Youtube ▶️ https://youtu.be/okvu18S7h2U Кстати, мы уже набираем поток на BootCamp. Старт 1 сентбяря @bootcampych_bot

😱Буткемпик – ВСЁ!😱 Читейший Кликбейт, только без клика!😂 У нас сейчас идёт Буткемпик, и там проводится просто огромная работа над ошибками, как в лекциях, так и в материалах. По факту продукт по обучению SQL и Python с нуля получается — супербомбический! Но, к сожалению, у меня сейчас физически не хватает времени на дополнительные созвоны и занятия с ребятами, которые не входят в рамки обязательной программы, но они нужны для дополнитеьльного объяснения и т.д. Для таких созвонов я реально ищу хотя бы час свободного времени и иногда предупреждаю ребят о них буквально за пару часов. Нехватка времени связана с рядом объективных причин. В первую очередь, у меня сейчас идёт ремонт в квартире, и я каждый день с утра до вечера езжу по магазинам, выбираю товары, ищу рабочих, что-то делаю сам. И в целом — ремонт это ещё та морока. 😂 Если есть желание, могу прям рассказать, поскидывать видосы с квартиры: как и что мы там делаем и в какую копейку мне всё это обходится! А через неделю у меня заканчивается отпуск😢, и в это же время значительная часть команды пойдёт в свои отпуска. Задач на это полугодие было прям много, поэтому времени на раскачку особо не будет.👨‍💻 Опять же, параллельно будет идти Буткемп☺️. (Кстати, поторопитесь записываться: уже почти половина потока набрана, а количество мест ограничено!!!) Я готовлюсь к каждому занятию, плюс постоянная поддержка ребят, плюс постоянное улучшение контента. Так же сейчас проживаю с семьёй в небольшом съёмном жилье, где не очень удобно проводить занятия из-за постоянных шумов на фоне во время лекций. В общем и целом, это главные причины, почему я подзабил на Telegram-канал, не снимаю видосы на YouTube, не провожу стримы и т. д. Поверьте наслово – идей дофига и куча, а времени нет⚪️ Как только хоть немножко освобожусь, хотя бы относительно ремонта квартиры, ибо именно он сжирает большую часть времени, — сразу начну снова делать контент. На данный момент Буткемпик (не путать с Буткемпом) ставим на паузу! Уже сейчас мы убрали возможность записаться на Буткемпик в нашем боте. В октябре запись будет возобновлена. Ну а пока, если есть желание, могу рассказывать, как продвигается ремонт, показывать дизайн, сколько всё это стоит, какие решения принимаем и сколько косяков встречается по дороге 😂 Ибо сейчас голова забита в основном только этим.

Спасибо за стрим! Запись была, кто пропустил, всегда можете посмотреть в записи. Запись скоро будет на YouTube! если остались вопросы, то здесь можно задать - @bootcampych_bot

Набор на BootCamp Сентябрь ОТКРЫТ! ВОСЬМОЙ ПОТОК стартует уже 1 сентября! Успей записаться через @bootcampych_bot и жми Хочу на BootCamp Для тех, кто не знает, что такое BootCamp DE. Мы сделали супер интенсив за 2 месяца в DE. Это буквально копия вашей будущей работы. Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого. Так вот именно эту идею мы и вложили в Bootcamp! За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме. Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику. Чтобы вы пришли на работу и сказали: "Мы это уже делали" 🔴 Уже в это воскресенье 2 августа делаем СТРИМ, где покажем, как сейчас выглядит BootCamp и что нового мы туда внесли! А пока можете посмотреть ▶️ видео с прошлого потока Ссылку на стрим скину ближе к 2 августа!!! Ближайший старт потока — 1 сентября Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp Кол-во мест ограничено!

Ребят у Жени вышел шикарный видос 2я часть вопросов собеседований на Инженера Данных.🙀 https://youtu.be/BWSXh1Ussms Берём и залетаем👍 Комментарии, лайки и подписка, репосты – приветствуется все, что продвигает канал!🫰

Самое сложное в получении премии – это не работа А написать самому про себя. 😂 Сейчас у меня в компании проходит мероприятие, так называетмое "Оценка 360 – Review". И когда приходит время, начитается: А что ты делал? Чем занимался? Каких успехов достиг? Нууу... работу делал. Потом открываешь список своих задач за полгода: 🤢Миграция 🤢Стриминг 🤢ClickHouse 🤢Flink 🤢Iceberg И вроде понимаешь, что работы было дохрена, но писать про себя всё равно максимально неловко и не знаешь от чего оттолкнуться. И в конце концов еще нужно описать коллег и коллеги пишут о тебе. Я думал, что люди будут писать что-то вроде: — Володя сделал миграцию. — Володя шарит в ClickHouse. — Володя настроил стриминг. Но если почитать отзывы они в целом вообще были не про технологии. Они про то, что: • всегда можно прийти спросить • объясняю сложные вещи простыми словами • провожу митапы • помогаю быстрее разобраться в новых технологиях • и т.д. (можете почитать сами) И в этот момент я поймал себя на мысли. Еще пол года назад думал, что премия зависит от количества закрытых карточек и от быстры выполнения задач. На самом деле — нет! Во многих компаниях оценивают не только что ты сделал, но и какое влияние оказал на команду. Код рано или поздно перепишут. А вот то, что благодаря тебе люди стали работать быстрее и сильнее, — обычно запоминают надолго. Мне кажется, это вообще одна из самых недооценённых тем в IT. Многие думают, что главное — закрывать тикеты. А потом удивляются, почему человек, который сделал меньше задач, получает выше оценку и большую премию. Очень часто разница именно в софт-скиллах и в том, какое влияние ты оказываешь на команду. Софты решают!

Ну всё, ухожу из IT на стройку. 👷 На самом деле просто давно не выходил на связь. Каюсь! Но, кажется, у меня есть уважительные причины. 😄 1️⃣ Работа В последнее время на работе образовался настоящий завал. Новые задачи, новые направления, пришлось во всё это активно погружаться и разбираться. 2️⃣ Буткемпик У нас сейчас идёт первый поток, и оказалось, что создать программу — это только половина дела. После каждой лекции собираем обратную связь и спрашиваем: что улучшить, где-то перестроить объяснение, добавить реальные кейсы, но при этом сохранить формат обучения с полного нуля. Приходится находить время и повторно читать лекции. Короче говоря, курс для начинающий постоянно становится лучше! 3️⃣ И самое приятное... 🎉 Я ПОЛУЧИЛ КЛЮЧИ ОТ СВОЕЙ КВАРТИРЫ!🎉 А дальше всё как положено: приёмка, документы, замеры, дизайнер, бесконечные поездки в квартиру и ощущение, что ремонт — это ещё одна полноценная работа. Теперь после основной работы, Буткемпа, менторства и созвонов начинается вторая смена — ремонт. 🔨 Так что если вдруг в канале начнут появляться стены, электрика, мешки с клеем и прочие радости взрослой жизни — не удивляйтесь. 😂 Если честно, тема ремонта меня уже начинает затягивать. Вчера, например, несколько часов с дизайнером бегали с рулеткой, размечали стены, окна и будущую мебель. И оказалось, что там тоже куча интересных нюансов. Так что, если вам интересна тема ремонта или у вас есть опыт, которым готовы поделиться, — с удовольствием пообщаюсь. Думаю, ошибок я ещё успею наделать достаточно. 😄 И, кстати... Нас уже больше 4000 человек! ❤️ Честно, до сих пор не верится. Хотя если бы каждый скинулся всего по 2000 рублей, я бы уже ипотеку закрыл... 😂 Ладно-ладно, это была шутка. (Ну почти.)

#кейсы Как мы сократили время OPTIMIZE в ClickHouse почти в 2 раза Есть таблица на ReplacingMergeTree, для которой регулярно выполнялся: OPTIMIZE TABLE schema.table FINAL SETTINGS optimize_throw_if_noop = 1; Поначалу всё работало отлично. Но со временем таблица выросла примерно до 200 ГБ (в сжатом виде). В какой-то момент начались инциденты. 📌Что произошло Таблица была непартиционированной, поэтому OPTIMIZE FINAL каждый раз фактически проходил по всей таблице. Когда объем данных вырос, оптимизация перестала укладываться в таймаут драйвера с ClickHouse. На графике это видно как серию падений DAG (оранжевая область). Чтобы восстановить работу, пришлось просто увеличить timeout драйвера. Выполнение стабилизировалось, но появилась другая проблема – каждая оптимизация стала занимать 3–4 часа. По итогу Time to Market у нас пошел по одному месту. 📌Решение Так как нужно было удалять дубли в рамках ключа, применили хеш-партиционирование по ключу сортировки разбив её на 16 частей: PARTITION BY cityHash64(id) % 16 После этого: 1) пересобрали таблицу; 2) выполнили EXCHANGE TABLE; 3) оптимизация стала выполняться параллельно по каждой партиции отдельно, а не по всей таблице сразу. 📌Итог 📊 На графике хорошо видно три этапа: 🟠 Инциденты – OPTIMIZE перестал укладываться в таймаут и начал падать. 🔵 Временное решение – Увеличили timeout соединения. Проблема исчезла, но время выполнения выросло до 3–4 часов. 🔴 Я тут как раз пересобирал таблицу 🟢 Окончательное решение – Перешли на хеш-партиционирование. В результате время выполнения OPTIMIZE FINAL сократилось примерно в 1.5 раза, а сама операция стала значительно стабильнее. Понятное дело, что мы можем еще поработать над параллельностью, над кодеками самих колонок, разложить не на 16 частей, а например на 32 и т.д., но важно понимать это инцидент, а не полноценная задача. Соответсвенно нужно сделать быстро и чтобы работало исправно! Как только и тут зайдём за SLA в 2 часа, то начнём думать, что делать дальше, вплоть до того, чтобы оставлять только нужные данные, а остальные отправлять в архив. _____________________ Хочешь изучить Python и SQL записывайся на 1й поток "Буткемпик" через @bootcampych_bot, старт через 2 дня – 1 июля!

🎉 У меня сегодня день рождения — исполнилось 29 лет! Если бы можно было дать совет себе из прошлого, я бы сказал всего одну фразу: Красавчик. Ты и так всё делаешь правильно и добьёшься всего чего хочешь! За последние несколько лет произошло столько всего, что вернувшись назад я(из прошлого) бы в это просто не поверил. Так что погнали дальше. Инсульт в 40 сам себя не получит🤣 P.S. Карта для ваших поздравлений: 2200 1545 😂

BootCamp Июль НАБРАН! Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля. Продажи на июльский поток мы АСТАНАВЛИВАЕМ! Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ! По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов. Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!" КСТАТИ Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК! Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля. Записаться, оплатить и попасть сразу в чат можно тут ➡️ @bootcampych_bot

▶️ Пет Проект для Дата Инженера https://youtu.be/pC9AvMwv10Y https://youtu.be/pC9AvMwv10Y https://youtu.be/pC9AvMwv10Y Презентация + код проекта уже доступны в нашем боте Пиши боту /pet и он пришлет тебе материалы по пет проекту ➡️ @bootcampych_bot