Архитектор DWH/ Senior Data Engineer

ГКУ Инфогород

Город:

Москва

Занятость:

Полная занятость

Компания "ГКУ Инфогород"

Привет!

Департамент информационных технологий внедряет технологии, которые делают Москву комфортнее и безопаснее, а жизнь горожан — удобнее и мобильнее.
Например, записаться к врачу с помощью сервиса ЕМИАС, проверить домашнее задание и оценки ребенка в Московской электронной школе, подать показания счетчиков через портал mos ru — это лишь часть услуг и сервисов, доступных москвичам и реализуемых ДИТ.

Какие знания и навыки нам важны::

Python, Airflow, PySpark (30%)
Проектирование и разработка ETL/ELT пайплайнов обработки и трансформации данных.
Обеспечение высокой производительности и отказоустойчивости процессов.
GIT
Greenplum + Data Vault (40%)
Проектирование и разработка DWH по методологии Data Vault
Оптимизация структуры хранения и sql запросов под Greenplum
Написание сложных запросов с большим кол-вом join, оконных функций.
Настройка и использование PXF для ELT
Использование Liquibase или аналог для миграций.
Clickhouse (20%)
Построение эффективных витрин данных
Оптимизация структуры хранения и sql запросов под Clickhouse
Openmetadata (5%)
Настройка мониторинга и контроля качества данных, документирование метаданных.
Инструменты визуализации (Yandex DataLens) (5%)
Автоматизация процессов формирования аналитических отчетов.

Что нужно делать:

Построение эффективных витрин данных;
Проектирование и разработка ETL/ELT пайплайнов обработки и трансформации данных.
Обеспечение высокой производительности и отказоустойчивости процессов.
GIT
Оптимизация структуры хранения и sql запросов под Clickhouse;
Проектирование и разработка DWH по методологии Data Vault;
Оптимизация структуры хранения и sql запросов под Greenplum;
Написание сложных запросов с большим кол-вом join, оконных функций;
Настройка и использование PXF для ELT

Что предлагаем:

График 5/2, гибридный формат;
Оформление по ТК РФ, полностью белая зарплата
Мы - аккредитованная ИТ компания
Корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
Корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
Комьюнити по интересам
Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!