Аналитический Инженер

описание

Заметки о хардах и софтах в мире больших данных. Широкий спектр затрагиваемых тем. Учебные материалы, размышления, мотивация.

← к каналу @analytics_engineer_1337

628

подписчиков

Охват к подписчикам

110,8%

ERR

Реакции к просмотрам

1,64%

492 на 50 постов

Пересылки к просмотрам

2,55%

767

Постов в день

0,0

всего 75

Где отзываются чаще

доля реакций к просмотрам

24 дек.#карьера #база_знаний Давайте обсудим брутфорс рынка труда как самую эффективную стратегию поиска работы. Поехали!👩‍💻 Сразу очерчим для кого подходит эта стратегия - для работяг уровня junior-senior в СНГ. Причем для джунов в меньшей степени - вакансий мало, требований много. Проще залетать сразу на миддл уровень. Подробнее об этом писал тут - https://t.me/analytics_engineer_1337/15 Грейды выше синьора или валютные удаленки - там уже принципы поиска другие. Хотя слышал от тимлидов в бигдате, что они простым кликаньем на хх ру находили работу в СНГ👍 Итак, обсудим основные действия в очерченных условиях: 1)Прожаренное резюме в коммьюнити таких же работяг как и вы (не HR, не упаси господи карьерных консультантов💅). Ранее описывал принципы описания опыта в резюме тут - https://t.me/analytics_engineer_1337/259 . Чат для прожарки резюме тут - @gpt_wrote_my_cv 2)Готовность пояснить за свой опыт на собесах🤨 3)Если есть старый аккаунт с большим количеством откликов (300+, например), лучше его сменить на новый, можно даже с новой симкой. Начинаем жизнь с чистого листа. 4)Далее мы кликаем по 100-200 вакансий в день по нашему профилю. Можно сделать смежные резюме, просто с разными названиями для удобства парсинга (например DWH-аналитик и Аналитик-разработчик или DE и Аналитик-разработчик). На двух языках через слеш: "Дата Инженер/ Data Engineer" (иностранные вакансии тоже есть на хх ру, хоть их и немного). 5)Сейчас гремели новости о запрете автооткликов через апи ботов. Честно говоря, 100-200 откликов можно бахнуть за вечерней чашкой чая за 10-20 минут. Не вижу проблемы. Сопроводительные письма, вычитка вакансий - мимо. Пустая трата времени. 6)"Мертвых сезонов" для поиска работы практически нету, кроме, разве что, новогодних каникул. Да и то, можно покликать на них заранее то, что осталось с прошлого года и после каникул разгребать ответы HR. 7)Кликаем до тех пор, пока не накопим 4-5 параллельных собес-процессов и HR в личке (либо сколько вы можете выдержать ментально😓) 8)Много откликов не бывает. Не сдаемся, проходим собесы, учимся на своих и чужих ошибках. Штурмуем рынок труда снова и снова. Прем как бульдозер на картинке😎 9)Не увольняемся со старой работы, пока не найдем новую. Либо должна быть адекватная финансовая подушка на несколько месяцев жизни, пока ищем работу (при грамотном подходе не должно занять больше 3-4 месяцев при наличии фулл свободного времени, это я беру максимальный сценарий со вкатом с нуля) 10)Если тяжко - прожариваем резюме снова и снова в коммьюнити. Сверяем свой процесс поиска работы с сообществом работяг. Совершенству нет предела. Можно найти ментора, можно без него. Зависит целиком и полностью от вас👉 Вся прелесть брутфорса состоит в грубой статистике. Вы кликнули 1000 и более раз. Вы пережили сотни отказов и дюжину проваленных собесов. Но рано или поздно при работе над собой вы найдете оффер с достойными условиями и новой высокой зарплатой. Будьте воинами, ебашьте😡 Безусловно, если есть связи, блат, рефералки - юзаем и их. Я лишь написал самый обобщенный и универсальный гайд4,87%
8 мар.без подписи3,31%
12 янв.без подписи3,29%
1 февр.#база_знаний Итак, я сделал то, что запланировал еще в прошлом году - у моей базы знаний появился свой сайт на основе Obsidian! Гооооооооооооооол🐹 https://byaha98.github.io/bigdata_knoweledge_base_ru/ Еще остаются шероховатости, но в целом базой уже можно пользоваться, какого-никакого MVP я достиг. До конца года остаются: фикс багов, дизайна, редактура статей и наполнение базы контентом по разным Data профессиям🤩 Не стесняйтесь сообщать об ошибках и косяках базы! Сделаем ее лучше вместе👉 1. Если хотите просто работать с Obsidian частью базы, то скачайте Obsidian https://obsidian.md/download 2. Затем склонируйте репозиторий 3. Откройте Obsidian, в нем откройте папку с репозиторием и сделайте ее как vault. Основной контент базы (MD файлы и картинки) лежит в папке content. 4. В диалоговом окне подтвердите, что доверяете авторам. Для тех, кто ранее уже клонировал мою базу - весь Obsidian контент переместился в папку content. Помимо технической папки .obsidian теперь тут стоят еще деплой на Github Pages и прочие технические штуки для сайта. Если вас интересует развертывание форка моей базы знаний в том числе с деплоем сайта в Github Actions, то вам понадобятся NodeJS, NPM, Obsidian, Quartz https://slava.skp.kz/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D0%B8/%D0%B1%D0%BB%D0%BE%D0%B3-%D0%BD%D0%B0-Quartz-4.0 Я пользовался данным гайдом (частично), некоторые вещи там устарели. Склонировав полностью мой репозиторий, вы сделаете свое путешествие к собственному obsidian сайту проще🎩2,87%
24 мар.без подписи2,86%
26 дек.#база_знаний #DA #DE #Devops Хотел бы поделиться набором тг-чатов по инструментам, которые часто используются в бигдате. Набор скорее DE-ориентированный. Но, при этом, вопросы по Airflow или Clickhouse могут быть полезны широкому кругу спецов @hadoopusers - общий чат по хардовым вопросам дата инженеров, много ветеранов индустрии🎩 @clickhouse_ru - технический чат по Clickhouse, 11k участников, что довольно много💪 @dbt_users - чат по DBT🏗 Также нередко обсуждается его ближайший конкурент - SQLMesh. Точно помню, что затрагивалась и оркестрация DBT через Airflow и Dagster. Пару раз обсуждался Airbyte. В общем, полный смузи датастек🍑 @ruairflow - технический чат по Airflow😎 @greenplum_russia - чат по Гринпламу и его форкам. Иногда и постгрес обсуждается👩‍💻 @pro_debezium - чат по Debezium, хайповому инструменту CDC в дата-инженерии🦜 Знаете еще крутые хардовые чаты? Делитесь в комментах 👇2,72%
3 апр.без подписи2,64%
3 апр.#харды #DA #база_знаний Там Заскуль Питона выложил курс на степик по пандасу для новичков. Будет полезно начинающим аналитикам!2,62%
1 февр.без подписи2,25%
16 сент. 2025 г.#харды #база_знаний #DE Грубые ошибки в Airflow или как вебхуки положили airflow-scheduler🥲 и как я это исправил и освободил DAG'и из pool-рабства😎 Уххх, эту статью я еще обещал при создании канала, погнали😓 Давайте сначала введем понятийный аппарат для статьи: Основные концепции Airflow Декоратор @dag и декоратор@task Декораторы в Airflow — это элегантный способ превращения Python функций в DAG'и и задачи: @dag — превращает Python функцию в DAG (Directed Acyclic Graph) декоратор@task — превращает Python функцию в задачу Airflow Декораторы упрощают передачу данных между задачами и определение зависимостей. Pools в Airflow Pools (пулы) — это механизм ограничения параллелизма выполнения задач: 💊Контролируют количество одновременно выполняющихся задач 💊Содержат slots (слоты) — единицы ресурсов для выполнения задач По умолчанию все задачи попадают в default_pool с 128 слотами, но можно ввести новые со своими ограничениями. Т.е. можно разделять критичные и некритичные задачи по разным пулам🧠 Scheduler и парсинг папки DAGs Airflow Scheduler — компонент, который: 🧑‍🎓Каждые 30 секунд по умолчанию парсит все DAG файлы 🧑‍🎓Сканирует папку DAGs на новые файлы каждые 5 минут 🧑‍🎓Проверяет, какие задачи готовы к выполнению 🧑‍🎓Выполняет весь код, не входящий в декораторы каждый парсинг (очень важный момент, запомните его!👁) Итак, был один проект у меня с сильном "зажатыми" DAG Airflow. Были там DAGи с очень ограниченным количеством задач, с очень строгими pools для работ DAGов. Были слухи и легенды по поводу того, что валился Airflow scheduler когда злые DAGи "раскрепощались"💪, поэтому они были заперты древними печатями. Как-то раз, я решил проверить, а что же может так сильно валить весь Airflow. Пошустрил по DAGам и понял, что там есть важная проблема! Были вызовы вебхуков (к Data Ingestion инструменту Airbyte) в функции вне "тела " самого DAG! То есть буквально вне таких декораторов как @dag и декоратор@task, вне дага вообще! Что это значит? Что при каждом парсинге папки dags scheduler (планировщиком Airflow) происходили вызовы этих вебхуков! Не при запуске DAGов! Очень больно😳... Поэтому никогда так не делайте. Все загрузки файлов, обращения к внешним сервисам по API, вебхукам и т.д. делайте внутри DAG airflow в его tasks (задачах)! Естественно, когда я это понял, то запихнул вебхук в даг и в отдельную задачу. Удалось расширить строгие pools и в целом "раскрепостить" 💪 DAGs. Проект стал дышать свободнее и работать быстрее. Пайплайны перегрузки данных ускорились😎2,24%
8 янв.без подписи2,13%
1 февр.без подписи2,08%