Senior Data Engineer( АЛИБАБА.КОМ (РУ) )

Компания "АЛИБАБА.КОМ (РУ)"

Команда DWH отвечает за формирование основных аналитических витрин компании. Цель команды DWH: предоставлять качественные, своевременные данные по основным бизнес-процессам компании в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Текущий стек команды: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ). В команде DWH развиты инженерные практики: автотесты, кодревью, CI/CD, data quality проверки.

Чем предстоит заниматься:

• Оптимизация производительности сложных процессов загрузки данных (Spark);
• Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
• Разработка nrt пайплайнов (Kafka, Spark Structured Streaming, CH);
• Разработка витрин данных (Spark)

• Глубокое знание стека Hadoop (Hive, Spark);
• Опыт работы с Python или Java от 3-х лет;
• Опыт написания дата пайплайнов, опыт работы с Airflow;
• Опыт работы c ClickHouse;
• Понимание подходов к организации разработки (CI/CD, DevOps)

Будет плюсом:

• Опыт разработки потоковой обработки данных;
• Опыт работы с форматом iceberg.

• Достойную твоего профессионального уровня зарплату
• Гибкий график работы, есть возможность удобно планировать рабочее и личное время
• Расширенную ДМС программу со стоматологией
• Интересные задачи на большом проекте с продвинутыми технологиями и многомиллионной аудиторией
• Поучаствовать в развитии одного из самых узнаваемых брендов
• Возможность работать удаленно.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя