Data Engineer в MAX( Mail.ru Group )

14 Декабря

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Компания "Mail.ru Group"

Создаём единую коммуникационную платформу, которая станет универсальным решением для всех платформ группы по общению пользователей.

Задачи

  • Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
  • Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
  • Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
  • Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
  • Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
  • Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решени​й

Требования

  • Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
  • Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
  • Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
  • Использовали Airflow, Luigi или другой оркестратор
  • Умеете выбирать технологии для решения конкретных задач
  • Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
  • Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
  • Эффективно общаетесь с людьми, находите общий язык с разными специалистами
Похожие вакансии

11 Декабря

Middle Backend & Integrations Engineer (ML/LLM/CV Projects)

Москва

Компания "DCS" О компании Мы — DCS , IT-компания, специализирующаяся на AI-консалтинге. Обладаем сильной экспертизой в области...

Отправить резюме подробнее

11 Декабря

Инженер по пожарной безопасности, ГО, ЧС( ManpowerGroup )

Москва

Компания "ManpowerGroup" Наш клиент, международный производитель молочных продуктов, находится в поиске Инженера по пожарной безопасности, ГО и...

Отправить резюме подробнее

12 Декабря

Data Scientist( Банки.ру )

Москва

Компания "Банки.ру" Чем предстоит заниматься: Строить модели машинного обучения и нейронных сетей; Проверять гипотезы для улучшения...

Отправить резюме подробнее

12 Декабря

ML инженер (LLM Platform Engineer)

Москва

Компания "Сбербанк" Наша задача - создать Fabrique агентного роя (ASC AI Fabrique) - систему автоматического самовоспроизводящегося и...

Отправить резюме подробнее

13 Декабря

QA Engineer / Тестировщик( EGAR TECHNOLOGY, INC. )

Москва

Компания "EGAR TECHNOLOGY, INC." Приглашаем в команду QA Engineer Проект: банковский, блок принятия решений ЗАДАЧИ: Анализ...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: