ETL-инженер

ГКУ Инфогород

Город:

Москва

Занятость:

Полная занятость

Компания "ГКУ Инфогород"

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Чем занимается продукт:

ЕМИАС - одна из крупнейших в мире цифровых платформ, которая насчитывает более 18 миллионов граждан в базе данных, охватывает в единый цифровой контур более 1000 зданий столичных медучреждений амбулаторного, стационарного звена и бригады скорой и неотложной помощи, обеспечивая непрерывность и преемственность всех этапов лечения. ЕМИАС занимается информатизацией медицины в городе. Она охватывает все процессы городской системы здравоохранения, начиная с электронной очереди в поликлинике и заканчивая прогнозированием занятости конкретных врачей. Благодаря ей специалисты различного профиля могут в любой момент получать необходимые данные о пациенте.

Что нужно делать:

Airflow (python, airflow+dbt)
1.1 Разработка и развертывание DAG-ов интеграции и трансформации
1.2. Базовое администрирование Airflow и dbt внутри
DBT и интеграции (python, sql, Clickhouse)
2.1 Разработка моделей dbt и скриптов трансформации (создание потока)
2.2 Разработка скриптов интеграции данных нестандартных источников с помощью python
2.3 Разработка объектов данных БД (Clickhouse)
2.4 Разработка скриптов интеграции (sql через коннекторы) ClickHouse (загрузка данных для стандартных источников)
iDVP (собственный BI-инструмент)
3.1 Создание и поддержка потоков данных (SQL) в iDVP.Data
3.2 Разработка дашбордов (визуальных форм) в iDVP.Analytics
3.3 Создание коннекторов ClickHouse (витрин в yaml) и связь с iDVP.Analytics
Анализ данных и структур
4.1 Анализ данных в Хранилище ClickHouse, разработка витрин (sql)
4.2 Анализ данных в источниках для реализации задач интеграции и построения витрин
Ревью кода (git)
5. Перенос на prod (перенос в main-ветку git и на прод Хранилища) (Code review)

Какие знания и навыки нам важны:

Уверенное знание Python (pandas) и опыт применения на практике;
Написание сложных SQL-запросов и их оптимизация (ClickHouse, PostgreSQL);
Опыт создания и сопровождения автоматизированных регулярных ETL процессов;
Опыт внедрения и работы с Airflow и dbt;
Опыт работы в Git для контроля версий и совместной разработки;
Опыт работы с BI-инструментами для визуализации аналитических данных;
Ценим инициативность, внимательность к деталям, умение эффективно работать как в команде, так и самостоятельно.

Что предлагаем:

Оформление по ТК РФ, полностью белая зарплата
Мы - аккредитованная ИТ компания
Участие в социально значимых проектах для жителей города
Команда экспертов, в которой коллеги всегда поддерживают друг друга
Выстроенная система адаптации новых сотрудников
Возможность поработать с самыми разными технологиями и решениями, применять новое в работе
Адаптивная система обучения за счет компании

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!