Senior Data Engineer (в DS команду)

Ostrovok.ru

Город:

Москва

Занятость:

Полная занятость

Компания "Ostrovok.ru"

Мы ищем Senior Data Engineer в команду Data Science.

Обязанности:

Проектирование, создание и поддержка витрин данных для задач Data Science и ML;
Настройка и сопровождение процессов ETL/ELT;
Мониторинг и повышение качества данных;
Оптимизация хранения и обработки исторических данных;
Взаимодействие с командой Data Science для формализации и сбора технических требований;
Поддержка и развитие архитектуры данных.

Требования:

Опыт работы Data Engineer от 4-х лет;
Опыт в проектах, связанных с ML/DS;
Глубокие знания в области хранения данных, управления их историчностью и построения архитектуры хранилищ для ML-решений;
Практический опыт работы с инструментами: DBT (большой плюс), Airflow, Trino;
Хорошие знания Python и SQL;
Опыт использования GIT и Docker;
Навыки работы с Hadoop экосистемой: HDFS, Hive, Spark;
Опыт настройки систем мониторинга ETL-процессов;
Умение собирать бизнес-требования и формализовывать ТЗ;
Разговорный английский на уровне В1 (intermediate).