Data Engineer в MAX (Senior)

09 Июня

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Компания "Mail.ru Group"

Создаём единую коммуникационную платформу, которая станет универсальным решением для всех платформ группы по общению пользователей.

Задачи

  • Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разрабатывать DAG для автоматизации)
  • Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
  • Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
  • Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
  • Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
  • Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

Требования

  • Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
  • Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
  • Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
  • Использовали Airflow, Luigi или другой оркестратор
  • Умеете выбирать технологии для решения конкретных задач
  • Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
  • Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
  • Эффективно общаетесь с людьми, находите общий язык с разными специалистами
Похожие вакансии

30 Мая

Senior MLOps Engineer( Страховая компания «Сбербанк страхование» )

Москва

Компания "Страховая компания «Сбербанк страхование»" Команда Сбербанк Страхования поиске MLOps-инженера, который будет отвечать за создание и...

Отправить резюме подробнее

30 Мая

Senior Java Developer( Star-staff )

Москва

Компания "Star-staff" Нахожусь в поисках Senior Java разработчика в компанию, которая является лидером рынка в сфере доверительного...

Отправить резюме подробнее

30 Мая

Ведущий инженер по прикладному ИИ (Senior Applied AI Engineer)

Москва

Компания "Star-staff" Мы ищем ведущего специалиста по прикладному ИИ , который будет создавать промышленные AI‑системы для обработки документов...

Отправить резюме подробнее

30 Мая

Senior Разработчик C++( Система Безопасных Коммуникаций )

Москва

Компания "Система Безопасных Коммуникаций" Чем предстоит заниматься: Поддерживать существующую кодовую базу Разрабатывать новые функции...

Отправить резюме подробнее

30 Мая

Senior PHP Developer( Займиго МФК )

Москва

Компания "Займиго МФК" Кого ищем: PHP-разработчика уровня senior Опыт работы: 4+ года на PHP Формат работы:...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: