Data Engineer в E-com DWH

Компания "Яндекс"

Привет! Мы — команда разработки Ecom DWH в Поиске. Ищем опытного разработчика для создания новых и поддержания существующих пайплайнов и инструментов обработки данных.

Наши данные помогают сотне аналитиков ежедневно и ежемесячно получать актуальную информацию о рекламе и выдаче сведений, относящихся к электронной коммерции, в Поиске. На наших данных живёт ряд важных для электронной коммерции проектов — от ранжирования еком-выдачи в Поиске до дистрибуции.

Возможные ближайшие проекты, в которых предстоит поучаствовать:

• Построение нового DWH с фичами для быстрой пользовательской аналитики
• Повышение надёжности данных с помощью метрик и реализации детекторов аномалий в данных
• Построение быстрого контура поставки данных, чтобы аналитики могли получать данные намного раньше

Какие задачи вас ждут:

Разработка пайплайнов
Вам предстоит поддерживать и развивать существующие пайплайны обработки данных, а также проектировать и реализовывать новые.

Задача оптимизации
Нужно будет придумывать, как выжить при больших объёмах данных. Вес данных растёт быстрее, чем количество железа, на котором их можно обработать и хранить, поэтому задача оптимизации всего, что есть, и написания нового с учётом реалий — крайне важна в нашей работе.

Мы ждем, что вы:

• Уверенно программируете на Python и знакомы с SQL
• Знаете базовые алгоритмы и структуры данных
• Знакомы с парадигмой MapReduce
• Умеете погружаться в данные, находить, как разные источники соотносятся друг с другом