Data-инженер (в архиве)

13 Мая

от 250 000 до 280 000 руб.

ЦНИИОИЗ

Мы – подразделение в Министерстве здравоохранения в прямом подчинении у Министра, которое привлекается для решения самых приоритетных задач и управления наиболееважными ведомственными проектами. Под руководством Министра мы занимаемся разрешением кризисных ситуаций в отрасли, выстраивая свою работу в соответствии с принципами проектного управления, управления на основе данных и используя подходы стандартизации процессов.

Чем предстоит заниматься

• Проектировать, разрабатывать и сопровождать ETL/ELT-процессы для загрузки, преобразования и контроля качества данных;
• Разрабатывать и оптимизировать сложные DAG в Apache Airflow;
• Проектировать архитектуру пайплайнов данных с учетом надежности, масштабируемости и производительности;
• Интегрировать данные из различных источников: PostgreSQL, внешние API, webhook, S3-совместимые хранилища и другие системы;
• Разрабатывать и сопровождать пайплайны обработки данных на Python и Apache Spark;
• Работать с lakehouse-архитектурой и таблицами Apache Iceberg;
• Оптимизировать SQL-запросы, ETL/ELT-процессы и инфраструктуру обработки данных;
• Писать тесты для пайплайнов данных, обеспечивать качество и стабильность решений;
• Проводить code review и участвовать в развитии инженерных стандартов команды;
• Взаимодействовать с аналитиками, BI-специалистами и разработчиками для реализации бизнес-требований к данным;
• Участвовать в сопровождении инфраструктуры и разборе инцидентов.

Что мы ожидаем

• Опыт работы дата-инженером / ETL-разработчиком / backend-разработчиком от 1 года;
• Уверенное знание Python;
• Уверенное знание SQL, опыт написания и оптимизации сложных запросов;
• Практический опыт работы с PostgreSQL;
• Опыт работы с Apache Airflow, умение самостоятельно создавать и сопровождать сложные DAG;
• Понимание архитектуры пайплайнов данных и умение проектировать технические решения;
• Опыт разработки ETL/ELT-пайплайнов;
• Опыт оптимизации производительности обработки данных;
• Навыки написания тестов;
• Опыт проведения code review;
• Опыт работы с различными источниками данных и интеграциями;
• Самостоятельность, системное мышление, ответственность

Будет плюсом

• Опыт работы с Apache Spark;
• Опыт работы с Apache Iceberg;
• Опыт работы с Docker / Docker Compose;
• Опыт интеграции через REST API и webhook;
• Опыт работы с Object Storage (S3 API);
• Опыт работы с Nginx;
• Опыт использования JupyterHub для разработки и отладки;
• Опыт работы с BI-платформами, в том числе Visiology;
• Понимание принципов lakehouse-архитектуры.

Наш технологический стек

• Python
• PostgreSQL
• Apache Airflow
• Apache Spark
• Apache Iceberg
• Docker / Docker Compose
• REST API,
• webhook-интеграции
• Nginx
• Object Storage (S3 API)
• JupyterHub
• Visiology

Что мы предлагаем

1. Зарплата: 250 – 280 тыс на руки (полностью белая);
2. Ненормированный график, но без переработок (любые переработки компенсируются дополнительными выходными днями, но нужно быть готовым в случае необходимости поработать и поздно вечером, и в выходной день);
3. Офис в центре города (м. Трубная/Цветной бульвар).