Middle+ / Senior Data Engineer / ETL-разработчик

31 Июля

Партнерские Вакансии

Компания "SpbDev"

Мы — аутсорсинговая IT-компания, специализирующаяся на Data Engineering, DevOps и поддержке сложных корпоративных систем. Работаем с крупными заказчиками из банковского сектора, телекома, ритейла, промышленности и других отраслей.

У нас регулярно приходят запросы на Data Engineer и ETL-разработчиков для долгосрочных проектов российских компаний, формируем пул специалистов, которых сможем оперативно подключать к подходящим проектам.

Чем предстоит заниматься

В зависимости от проекта задачи могут включать:

• проектирование, разработку и поддержку ETL/ELT-процессов;
• создание и развитие корпоративных хранилищ данных, Data Lake и витрин данных;
• разработку DAG и настройку оркестрации процессов;
• написание сложных SQL-запросов и их оптимизацию;
• разработку трансформаций и процедур на SQL, Python или PySpark;
• проектирование моделей данных и потоков движения данных;
• контроль качества, полноты и согласованности данных;
• анализ и устранение ошибок;
• оптимизацию производительности обработки больших объёмов данных;
• подготовку технической документации и описание разработанных решений;
• взаимодействие с аналитиками, архитекторами, разработчиками и представителями заказчика.

Основные требования

• Коммерческий опыт работы Data Engineer, ETL-разработчиком или DWH-разработчиком от 4 лет;
• Уверенное знание SQL;
• Опыт разработки на Python;
• Опыт разработки и поддержки ETL/ELT-пайплайнов;
• Практический опыт работы с Apache Airflow или другим инструментом оркестрации;
• Понимание принципов построения DWH, Data Lake и витрин данных;
• Опыт работы с реляционными базами данных;
• Опыт работы с большими объёмами данных;
• Понимание принципов моделирования данных;
• Опыт работы с Git;
• Умение разбираться в существующем коде и чужих пайплайнах;
• Самостоятельность, ответственность и готовность доводить задачи до результата;
• Умение работать в распределённой команде.

Будет преимуществом

Не требуется знание всего перечисленного — конкретный стек зависит от проекта:

• Apache Spark и PySpark;
• Hadoop-экосистема: HDFS, YARN, Hive, Kafka, NiFi, Sqoop;
• ClickHouse;
• Greenplum;
• PostgreSQL и PL/pgSQL;
• MinIO или другие S3-совместимые хранилища;
• dbt;
• Apache Iceberg, Trino и современные Lakehouse-подходы;
• Data Vault, Kimball, модели «звезда» и «снежинка»;
• Azure Data Factory;
• Azure, Yandex Cloud или другие облачные платформы;
• инструменты Data Quality, например Great Expectations;
• SAS Data Integration Studio или Informatica PowerCenter;
• Kafka и потоковая обработка данных;
• Docker и Kubernetes;
• CI/CD;
• Jira и Confluence;
• опыт мониторинга и сопровождения продуктивных data-платформ;
• опыт работы в банковской сфере, телекоме, ритейле или промышленности.

Что важно отразить в отклике

Пожалуйста, укажите:

• ваш основной стек;
• опыт работы с SQL и Python;
• какие ETL/ELT-пайплайны вы разрабатывали;
• с какими DWH, Data Lake и Big Data-технологиями работали;
• используемые базы данных и инструменты оркестрации;
• объёмы данных и примерные нагрузки на последних проектах;
• текущую загрузку и возможную дату подключения;
• желаемую ставку;
• гражданство и текущую страну нахождения.

Даже если вы не соответствуете всему дополнительному стеку, присылайте резюме. Мы подбираем проект с учётом вашей основной специализации и практического опыта.

Формат работы

• Полностью удалённая работа;
• Проекты российских корпоративных заказчиков;
• Работа преимущественно по московскому времени;
• Загрузка — как правило, full-time;
• Продолжительность проектов — обычно от 6 месяцев с возможностью продления;
• Оформление и формат сотрудничества обсуждаются индивидуально;