Senior Data Engineer( Спортмастер ) (в архиве)

18 Ноября

Город:

Москва

Занятость:

Полная занятость

Компания "Спортмастер"

Мы находимся в поиске Senior Data Engineer в платформенную команду BI.

Команда занимается развитием корпоративного хранилища данных (DataLake). Исследует и внедряет новые инструменты (RnD), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL потоки и помогает коллегам в оптимизации сложных потоков.

Ваши задачи:

Реализация ETL в Hadoop (с помощью Airflow);
Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы;
Батч и стримы с помощью PySpark и Kafka;
Подготовка витрин для анализа (Hive + Spark+ SQL).

Мы ждем от будущих коллег:

Уверенное владение Python;
Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka, Spark;
Знание SQL;
Опыт работы с реляционными базами данных (Oracle).

Наш стек: Python, Pyspark, Hive/hdfs, Airflow, ClickHouse, Kafka, Tableau.

Похожие вакансии

17 Декабря

Data Analyst (SME)

Москва

Компания "ОТП Банк, АО (OTP bank)" Чем предстоит заниматься: Собирать и обрабатывать данные: ты будешь работать с различными источниками...

Отправить резюме подробнее

17 Декабря

Data Scientist в команду Пополнения

Москва

Компания "X5 Tech" X5 Group — российская розничная торговая компания, управляющая продуктовыми торговыми сетями «Пятёрочка», «Перекрёсток» и...

Отправить резюме подробнее

17 Декабря

Data Scientist( Softline )

Москва

Компания "Softline" Обязанности: Проектирование LLM-систем; Разработка корпоративных сервисов на основе AI общего характера (например,...

Отправить резюме подробнее

17 Декабря

Data Engineer( РУССКИЙ ПРОДУКТ )

Москва

Компания "РУССКИЙ ПРОДУКТ" АО «РУССКИЙ ПРОДУКТ» - крупный отечественный производитель бакалейной продукции. Успешно работает на рынке с 1996...

Отправить резюме подробнее

17 Декабря

Middle/Senior DevOps engineer

Москва

Компания "Employcity" Международная продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных...

Отправить резюме подробнее