ETL разработчик

02 Декабря

Партнерские Вакансии

Компания "Интерфакс"

Интерфакс – это не просто информационный лидер в России, это мощная IT-компания с амбициозными проектами. Наши центры разработки в Москве и регионах создают передовые сервисы, которые помогают тысячам клиентов принимать стратегические решения.

Ищем талантливого и опытного специалиста в области разработки ETL-процессов, который присоединится к нашей команде и станет ключевой фигурой в построении и развитии нашего хранилища данных.

Основные задачи:

* Проектирование структур хранилищ и витрин данных

* Разработка процессов ETL поставки данных

* Участие в развитии фреймворка поставки данных

* Сопровождение разработанных процессов ETL

* Выявление неэффективности в существующих процессах и их оптимизация

* Участие в найме сотрудников в команду

* Участие в улучшении процессов разработки: автоматизация ручной работы, проверка качества кода, формирование мониторинга поставки данных и т.д.

Требования:

* Уверенное знание SQL: практический опыт на уровне написания сложных запросов и оптимизации запросов

* Уверенное знание Python: практический опыт на уровне написания DAG на Apache Airflow и опыт промышленной разработки

* Уверенное знание принципов устройства реляционных СУБД (в идеале PostgreSQL): практический опыт (работа с системными таблицами, настройка системных параметров и т.д.)

* Знание основных алгоритмов и структур данных, особенно используемых в работе с хранилищами данных

* Опыт проектирования DWH: слои, модели хранения данных, процессы ETL

Дополнительные преимущества:

* Хорошее понимание концепции пакетной обработки данных

* Опыт промышленной разработки на Java

* Умение работать в командной строке систем Unix-like

* Понимание процессов DevOps

* Понимание принципов работы хотя бы одной технологии распределённой обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP

Технологический стек:

* PostgreSQL: для хранения и обработки данных (возможно, добавятся другие СУБД и распределённые системы)

* Apache Airflow: для оркестрации ETL-процессов пакетной загрузки данных (позже может добавиться Apache NiFi)

* Python: основной язык (позже может добавиться Java)

* Linux и Kubernetes

Мы предлагаем:

* Возможность работать в гибридном формате.

* Офис в шаговой доступности от метро Маяковская.

* Официальное оформление, "белая" заработная плата, ДМС (включая стоматологию).

* Тренинги и обучение, участие в профессиональных конференциях и корпоративных мероприятиях.