Data Engineer Работа Вакансии

Дата- инженер #удаленка Компания: Альфа-Банк 🔹Чем предстоит заниматься зСопровождение и анализ существующих процессов загрузки данных ETL -Мониторинг процессов загрузки и выявление аномалий -Приемка миграции существующих процессов загрузки с Oracle на Greenplum -Тестирование и установка доработок в продуктивный контур -Разбор обращений пользователей в рамках компетенций второй линии поддержки -Проверка технической документации 🔹Наши пожелания к кандидатам -Оконченное высшее образование -Опыт работы от 2х лет -Языки программирования: SQL -Технологический стек: Oracle, Greenplum, Apache Spark, ApacheAirflow, Kafka -Навыки работы с: Jira + Confluence или аналогичное, Git, CI/CD, XML, JSON -Навыки системного анализа, тестирования Откликнуться IT Jobs в Telegram | в VK | в Max

Data-инженер в команду SQL-SWAT #удаленка Компания: Авито ☑️Какие задачи вас ждут: -разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции; -самостоятельно мигрировать объекты с помощью созданных инструментов: -транслировать код; -верифицировать данные; -переносить историю; -переключать зависимости; -обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции; -в рамках регулярных дежурств поддерживать пользователей в чатах и консультировать по вопросам работы с витринами данных; -мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA; -улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов; -взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики. ☑️Примеры будущих задач: -доработать сервис трансляции SQL-кода, чтобы ускорить трансляцию на 20%; -создать LLM-инструменты для верификации данных во время миграции на локальной машине пользователя; -мигрировать сложные MERGE REFRESH-витрины с учётом специфики Trino и деградацией времени ежедневного расчёта не более чем на 10%; -оптимизировать витрины на Trino, чтобы снизить потребление вычислительных ресурсов на 20%; -ответить на вопрос пользователя в чате, например о том, почему витрина не проходит тесты на производительность. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Стажер Data Engineer в Аналитика Datagovernance [Big Data, МТС Веб Сервисы] #гибрид #intern Москва Компания: МТС 🔹Чем предстоит заниматься -Разрабатывать ETL-процедуры для сервисов datagov с использованием python, pyspark, hadoop, airflow; -Собирать данные из разных реляционных и нереляционных источников; -Создавать наполнять витрины в hive/postgres/clickhouse/greenplum 🔹Что мы ожидаем -Студенты 3 - 6 курсов бакалавриата, специалитета или магистратуры; -Хорошее знание Python; -Уверенное знание SQL и умение работать с реляционной СУБД -Будет плюсом: опыт использования с фреймворками обработки данных типа pandas/polars/spark и подобными Откликнуться IT Jobs в Telegram | в VK | в Max

Data Engineer #удаленка #senior Компания: BGStaff ☑️Ключевые задачи -Проектирование, разработка и сопровождение ETL/ELT-пайплайнов с использованием Snowflake и SQL -Управление облачной инфраструктурой на AWS (S3, Glue, Lambda, CloudWatch, IAM) -Написание чистого и поддерживаемого кода на Python -Автоматизация развертывания и настройки инфраструктуры через Terraform -Оркестрация рабочих процессов с помощью Apache Airflow -Мониторинг и устранение неполадок в пайплайнах, контроль качества данных и производительности систем -Совместная работа с дата-сайентистами, аналитиками и разработчиками для создания масштабируемых решений ☑️Обязательные требования -5+ лет коммерческого опыта в Data Engineering или смежных областях -Глубокие знания Snowflake и продвинутый уровень владения SQL -Реальный опыт работы с AWS (S3, Glue, Lambda, CloudWatch, IAM) -Уверенное владение Python для обработки данных и автоматизации -Практический опыт использования Terraform (инфраструктура как код) -Опыт работы с Apache Airflow для оркестрации пайплайнов -Отличные коммуникативные навыки и английский язык уровня C1 -Способность работать самостоятельно в распределённой команде ☑️Будет плюсом -Опыт интеграции и разработки REST API -Знание CircleCI или других CI/CD-инструментов -Опыт работы в полностью удалённых международных командах -Понимание принципов управления данными и безопасности Локация: Удалённо (предпочтительно за пределами РФ и РБ, желательно страны Латинской Америки или Канада) График работы: по восточному времени США (EST) до 17:00, с привязкой к американскому рабочему календарю. Уровень английского языка: C1 (продвинутый профессиональный) Контакты: promo@bgstaff.ru Python Job в Telegram | в VK | в Max

Data Engineer #гибрид Москва Компания: Облако.ру 🔹ОБЯЗАННОСТИ -Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности; -Нормализация и обогащение событий безопасности; -Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги); -Подготовка витрин данных под быстрые запросы и аналитику; -Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование; -Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill); -Участие в разборе инцидентов и оптимизации производительности data платформы.  🔹ТРЕБОВАНИЯ -Опыт построения с нуля DWH или Data lake. -Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде; -Уверенный SQL, включая оптимизацию запросов и анализ производительности; -Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги); -Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок); -Опыт проектирования и оптимизации витрин и схем хранения данных; -Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде; -Понимание принципов надежности, масштабирования и наблюдаемости data систем. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer в команду SMT #удаленка Компания: 2ГИС 🔹Что предстоит делать -Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform. -Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse). -Работать с большими объёмами данных и высоконагруженными Kafka‑топиками. -Строить отказоустойчивые пайплайны обработки и доставки данных. -Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных. -Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP). -Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI). Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer, Подготовка офлайн-факторов ранжирования #удаленка #middle Компания: OZON ☑️Примеры задач -Подготовка витрин и датасетов для команд, аналитики, DS и ML. -Оптимизация Spark-задач, SQL-запросов и процессов поставки данных. Настройка регулярных процессов подготовки витрин данных и контроль их качества. -Разбор инцидентов в процессах подготовки витрин и повышение их надежности. ☑️Нам важно -Опыт разработки пайплайнов обработки данных от 2х лет. -Уверенное владение Python и SQL. -Опыт работы с PySpark/Spark или готовность быстро погрузиться. -Опыт работы с Airflow или другими системами оркестрации обработки данных. Умение разбираться в существующем коде и улучшать его качество. Внимательность к надежности, производительности и мониторингу. Откликнуться IT Jobs в Telegram | в VK | в Max

Data Engineer #удаленка Компания: Авиасейлс 🔹Что нужно делать -активно участвовать в командном чате: отслеживать запросы, оперативно реагировать на вопросы и задачи в рабочее время; -мониторить системы и решать возникающие инциденты вместе с дежурными дата инженерами; -оптимизировать текущие процессы обработки данных; -модернизировать текущую дата платформу вместе с Core командой дата инженеров. 🔹Чего ждём от тебя -опыт работы инженером данных от 1 года; -знание языков программирования: Python/SQL (обязательно), опыт работы с другими языками будет плюсом. -понимание принципов ETL/ELT процессов и опыт работы с инструментами -понимание как работают распределенные вычисления -опыт работы в нашем стеке Apache Spark, Apache Airflow, DBT, Trino будет плюсом; -самостоятельность и ответственность, умение коммуницировать с разными командами и людьми желание развиваться и выстраивать процессы вокруг себя. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer в Корпоративное хранилище #удаленка Компания: Wildberries 🔹Что нужно делать -Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте -Настраивать, обновлять, мониторить и тюнить кластера Trino -Настраивать коннекторы (Iceberg, S3) -Оптимизировать производительность запросов (resource groups, query analysis) -Оптимизировать производительность Iceberg (partitioning, clustering, metadata management) -Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы 🔹Какой опыт и знания нужны -Обладаете пониманием взаимодействия Spark с Iceberg и S3 -Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore) -Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution -Имеете навыки Linux, Bash, Python для автоматизации -Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg -Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы -Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg). Откликнуться Python Job в Telegram | в VK | в Max

🚀 Вакансия: Data Engineer (удаленно/гибрид) Компания: ООО "ОДСС" https://odsscompany.ru (аккредитованная IT-компания) Локация Москва Зрплата от 150 до 170 т.р. Оформление по ТК РФ Мы ищем в свою команду инициативного Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников. Что предстоит: • разработка и поддержание парсеров • автоматизация обработки и преобразования данных • отладка и мониторинг конвейеров данных Технологический стек: Python, PostgreSQL, Dagster, Selenium Что мы ждем от тебя: - знание основных библиотек Python для работы с данными - опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx - опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов - представление об управлении качеством данных - представление о возможностях отладки мониторинга - понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.) - понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC) - знание английского языка на уровне, достаточном для чтения технической документации - знание Git - готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи. Плюсами будут: - опыт работы с данными из открытых источников и понимание их специфики - опыт долгосрочного поддержания работы парсеров - опыт работы с библиотеками Python для computer vision Преимущества проекта ✅ Проект только стартовал — мало легаси, много свободы для экспериментов ✅ Можно влиять на выбор технологий и архитектурных решений Для быстрой связи @LvovaOV

Data Engineer #офис #гибрид #senior Компания: CINIMEX ☑️Задачи: -Разработка ETL-пайплайнов (Apache Spark on java, HDFS (parquets), ClickHouse, Hive, Greenplum); -Разработка витрин данных в Greenplum и ClickHouse; -Оркестрация ETL-процессов; -Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль); -Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset. ☑️Ожидаем от Вас: -Глубокий экспертный опыт работы с Apache Spark от 4-5 лет (оптимизация джобов, работа с широкими и узкими зависимостями, настройка памяти и shuffle-операций); -Опыт работы с ClickHouse; -Опыт работы с Hadoop (HDFS, Hive); -Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных; -Опыт оптимизации ETL-пайплайнов и SQL кода; -Продвинутые знания SQL; -Готовность осваивать Java для использования Spark. ☑️Мы предлагаем: -Работу в аккредитованной IT-компании; -Формат работы: офис/гибрид (г. Москва/Нижний Новгород/Санкт-Петербург); -Гибкое начало рабочего дня: с 08:00 до 11:00 (по МСК); -ДМС со стоматологией, телемедициной и полисом ВЗР; -Возможность взять больничный без больничного: 7 дней в году; -Поэтапную адаптацию от hr и линейного руководителя; -Ревью и развитие: оцениваем результаты, обсуждаем карьерные цели и выстраиваем индивидуальный план развития; -IT-конференции, курсы, тренинги и сертификации за счет компании; -Корпоративный английский; -Развитие личного бренда: готовим спикеров к выступлениям на конференциях, помогаем в написании статей; -Внутренние митапы, онлайн/офлайн активности (квизы, вечера настольных игр, спортивные мероприятия). Контакты: hr@cinimex.ru IT Jobs в Telegram | в VK | в Max

Data Engineer в команду CDP #удаленка Компания: 2Гис 🔹Тебе предстоит -Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга. -Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков. -Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей. -Решать сложные инженерные задачи: расчеты метрик, построение витрин. -Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС. -Влиять на архитектурные решения и качество кода. -Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений. 🔹Ждем от тебя -Опыт работы с highload-системами. -Опыт проектирования архитектуры данных или платформенного кода. -Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных. Хорошо понимает, как работает Spark и умеет его готовить. Хорошо владеешь одним из языков программирования (например, Python или Scala). -Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения. -Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код. Откликнуться IT Jobs в Telegram | в VK | в Max

Инженер данных #гибрид Москва Компания: Альфа-Банк 🔹Чем предстоит заниматься -Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем Банка. -Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения. -Разработка и поддержание в актуальном состоянии документации по разработанному функционалу. -Своевременное отражение статуса выполнения задач в Jira. -Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных. 🔹Наши пожелания к кандидатам -Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - numpy, pandas. -Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников. -Способность разобраться с API поставщиков данных, используя доступную документацию. -SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum. -Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных. -Airflow- Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark, уверенное знание настроек Spark и их влияния на производительность приложений Spark. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data-инженер в команду SQL-SWAT #удаленка Компания: Авито ☑️Какие задачи вас ждут: -разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции; -самостоятельно мигрировать объекты с помощью созданных инструментов: -транслировать код; -верифицировать данные; -переносить историю; -переключать зависимости; -обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции; -в рамках регулярных дежурств поддерживать пользователей в чатах и консультировать по вопросам работы с витринами данных; -мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA; -улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов; -взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики. ☑️Примеры будущих задач: -доработать сервис трансляции SQL-кода, чтобы ускорить трансляцию на 20%; -создать LLM-инструменты для верификации данных во время миграции на локальной машине пользователя; -мигрировать сложные MERGE REFRESH-витрины с учётом специфики Trino и деградацией времени ежедневного расчёта не более чем на 10%; -оптимизировать витрины на Trino, чтобы снизить потребление вычислительных ресурсов на 20%; -ответить на вопрос пользователя в чате, например о том, почему витрина не проходит тесты на производительность. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer #удаленка Компания: Авиасейлс 🔹Что нужно делать -активно участвовать в командном чате: отслеживать запросы, оперативно реагировать на вопросы и задачи в рабочее время; -мониторить системы и решать возникающие инциденты вместе с дежурными дата инженерами; -оптимизировать текущие процессы обработки данных; -модернизировать текущую дата платформу вместе с Core командой дата инженеров. 🔹Чего ждём от тебя -опыт работы инженером данных от 1 года; -знание языков программирования: Python/SQL (обязательно), опыт работы с другими языками будет плюсом. -понимание принципов ETL/ELT процессов и опыт работы с инструментами -понимание как работают распределенные вычисления -опыт работы в нашем стеке Apache Spark, Apache Airflow, DBT, Trino будет плюсом; -самостоятельность и ответственность, умение коммуницировать с разными командами и людьми желание развиваться и выстраивать процессы вокруг себя. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer в команду Spark #удаленка Компания: Авито 🔹Какие задачи вас ждут: -разрабатывать новые и поддерживать существующие продукты в составе кросс-функциональной команды; -развивать существующую Big Data-платформу с учётом растущей нагрузки от новых задач и данных: 90% задач связаны со Spark; -создавать новые сервисы на Python и улучшать существующие; -внедрять инженерные практики и делиться с командой своим опытом; -предлагать новые подходы и быстро проверять их в продакшене на реальных данных. 🔹Мы ждем, что вы: -пишете на Python или Java/Scala и готовы перейти на Python; -глубоко понимаете экосистему Hadoop/Spark/Hive и связанные продукты; -работали с данными и решали аналитические задачи; -умеете администрировать Linux-системы на базовом уровне; -готовы искать нестандартные решения. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Data Engineer/ MLOpsE #офис #гибрид #middle Москва Компания: Bell Integrator ☑️ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА: -Понимание основ облачных технологий и технологий виртуализации и контейнеризации; -Опыт с экосистемой Hadoop (HDFS, Hive, Spark и п-р.); -Опыт промышленной разработки Python; -Опыт работы с ETL (Airflow и пр.); -Опыт работы с CI/CD решениями на базе Jenkins и Bitbucket / Git. БУДЕТ ПЛЮСОМ: Опыт работы с платформами оркестрации контейнеров K8s, OpenShift; Опыт внедрения DS-моделей в промышленный контур; Опыт работы с Kafka; Опыт работы с популярными РСУБД (Greenplum, Teradata, Oracle, PostgreSQL); Понимание принципов построения хранилищ данных DWH; Знания в RL и Графовых нейросетях; Отличные знания в области классического ML и DL. ☑️ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: -Разработка, поддержка и оптимизация ETL-процессов команды на платформах банка; -Внедрение разработанных DS-моделей в промышленную среду (MLOps); -Поддержка промышленной эксплуатации разработанных решений. ☑️МЫ ПРЕДЛАГАЕМ: -Возможность участия в интересных проектах. -Возможность профессионального и карьерного роста в компании. -Опыт работы в команде профессионалов. -Специальные тарифы для сотрудников в спортивные клубы и языковые курсы и пр. -Офисный\гибридный формат работы в Москве. Контакты: hr@bellintegrator.ru IT Jobs в Telegram | в VK | в Max