Senior Data Engineer( Спортмастер )
Город:
Москва
Занятость:
Полная занятость
Компания "Спортмастер"
Мы находимся в поиске Senior Data Engineer в платформенную команду BI.
Команда занимается развитием корпоративного хранилища данных (DataLake). Исследует и внедряет новые инструменты (RnD), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL потоки и помогает коллегам в оптимизации сложных потоков.
Ваши задачи:
- Реализация ETL в Hadoop (с помощью Airflow);
- Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы;
- Батч и стримы с помощью PySpark и Kafka;
- Подготовка витрин для анализа (Hive + Spark+ SQL).
Мы ждем от будущих коллег:
- Уверенное владение Python;
- Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka, Spark;
- Знание SQL;
- Опыт работы с реляционными базами данных (Oracle).
Наш стек: Python, Pyspark, Hive/hdfs, Airflow, ClickHouse, Kafka, Tableau.
11 Декабря
Senior Systems Analyst PostgreSQL / Ведущий системный аналитик PostgreSQL
Москва
Компания "МаксимаТелеком" Обязанности: Участие в формировании беклога продукта путем анализа потребностей потенциальных заказчиков и...
11 Декабря
Москва
Компания "Цифрекс" Мы ищем Senior SRE с DevOps-бэкграундом , который поможет обеспечить стабильность продакшена и со временем возьмёт на себя...
11 Декабря
Senior PHP-разработчик( Marfatech )
Москва
Компания "Marfatech" Привет! Мы - аккредитованная IT-компания MarfaTech, разрабатывающая собственные высокотехнологичные продукты для b2b...
11 Декабря
Data scientist (Computer Vision, middle+/senior)
Москва
Компания "РУСАЛ, Центр подбора персонала" Обязанности: Разработка и реализация подходов для решения задач в области компьютерного зрения...
11 Декабря
Москва
Компания "РУСАЛ, Центр подбора персонала" Мы ищем LLMOps/AI инженера для построения и управления инфраструктурой AI-решений. Вы будете отвечать...
Вакансия размещена в отрасли