Senior Data Engineer( Спортмастер )

Спортмастер

Город:

Москва

Занятость:

Полная занятость

Компания "Спортмастер"

Мы находимся в поиске Senior Data Engineer в платформенную команду BI.

Команда занимается развитием корпоративного хранилища данных (DataLake). Исследует и внедряет новые инструменты (RnD), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL потоки и помогает коллегам в оптимизации сложных потоков.

Ваши задачи:

Реализация ETL в Hadoop (с помощью Airflow);
Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы;
Батч и стримы с помощью PySpark и Kafka;
Подготовка витрин для анализа (Hive + Spark+ SQL).

Мы ждем от будущих коллег:

Уверенное владение Python;
Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka, Spark;
Знание SQL;
Опыт работы с реляционными базами данных (Oracle).

Наш стек: Python, Pyspark, Hive/hdfs, Airflow, ClickHouse, Kafka, Tableau.

Похожие вакансии

11 Декабря

Senior Systems Analyst PostgreSQL / Ведущий системный аналитик PostgreSQL

Москва

Компания "МаксимаТелеком" Обязанности: Участие в формировании беклога продукта путем анализа потребностей потенциальных заказчиков и...

Отправить резюме

подробнее

11 Декабря

Senior SRE/DevOps

Москва

Компания "Цифрекс" Мы ищем Senior SRE с DevOps-бэкграундом , который поможет обеспечить стабильность продакшена и со временем возьмёт на себя...