Data Engineer senior (DWH Developer)

Компания "WILDBERRIES"

Мы ищем Data Engineer в команду, которая отвечает за разработку и оптимизацию ядра хранилища данных и витрин, проектирование модели данных, диаграмм потоков данных и требований к качеству данных.

Вам предстоит:

— Разрабатывать объекты ядра DWH: ETL-процессы, витрины данных, таблицы фактов и измерений;

— Оптимизировать SQL-запросы;

— Взаимодействовать со смежными подразделениями;

— Проектировать и разрабатывать архитектуру хранилища данных;

— Проектировать и реализовывать модели данных.

Формат работы: удаленка

Вы нам подходите, если:

— Обладаете экспертным уровнем владения SQL, включая сложные оптимизации и анализ планов запросов;

— Имеете опыт ведения документации;

— Имеете опыт работы со Spark;

— Имеете опыт работы с MPP-системами (Greenplum, Vertica, Teradata);

— Обладаете глубоким пониманием архитектуры DWH и практическим опытом применения методологий построения хранилищ данных (Data Vault, «звезда»/«снежинка»);

— Имеете опыт работы с инструментами оркестрации, такими как Airflow, для построения ETL/ELT-пайплайнов;

— Имеете опыт работы с системами контроля версий, в частности Git.

Будет плюсом:

— Опыт работы с dbt;

— Python для разработки ETL/ELT пайплайнов (в дополнение к SQL);

— Опыт работы с S3, Apache Iceberg;

— Проектирование DWH: Опыт проектирования хранилищ данных от концепции до реализации.