Инженер данных в Едадил

Яндекс

Город:

Москва

Занятость:

Полная занятость

Компания "Яндекс"

Яндекс Плюс AdTech — новое подразделение бизнес-группы Персональных сервисов. Мы создаём геймифицированные B2C-решения, разрабатываем рекламные форматы и интеграции для B2B-партнёров, а также управляем масштабной программой лояльности с баллами Плюса.

В состав подразделения также входит Едадил — сервис Яндекса, который помогает ориентироваться в сфере умных покупок, развлечений и экономить на повседневных тратах. Чтобы миллионы пользователей могли решать свои задачи в сервисе, мы обрабатываем большой поток данных из разных источников. Эти данные лежат в основе аналитики, продуктовых решений и ежедневной работы внутренних команд. Задача DWH-команды — обеспечить стабильность процессов и надёжность данных для развития сервиса.

Обязанности:

Строить и оптимизировать пайплайны обработки данных
Вы будете развивать набор взаимосвязанных ETL-процессов и участвовать в работе на всех стадиях обработки данных, начиная с загрузки из источников и заканчивая подготовкой витрин и конечных выгрузок для внутренних сервисов. Важно проектировать эти процессы с продуманной архитектурой, где производительность и устойчивость — базовые требования.
Обеспечивать надёжность и качество дата-процессов
Вам предстоит настраивать мониторинг, проверки качества и алертинг, контролировать задержки и полноту поставки данных, оперативно разбирать инциденты и устранять их причины, а не только последствия.
Развивать аналитический слой данных: витрины, дашборды, метрики
Надо будет создавать и развивать витрины и метрики для продуктовых задач. Мы работаем в связке с аналитиками, уточняем требования, согласуем логику расчётов и проверяем корректность результатов. Важно разбираться в предметной области и понимать смысл данных, а при проблемах с событиями и логированием — взаимодействовать с командами разработки.
Развивать внутренние дата-инструменты
У нас есть внутренний набор библиотек для работы с данными и оркестрации регулярных запусков дата-процессов. Вы будете улучшать существующие библиотеки и создавать новые утилиты, которые позволят упростить и ускорить работу нашей команды.

Мы ждем, что вы: