Python Data Engineer (ClickHouse)

28 Ноября

Партнерские Вакансии

Компания "Моризо Диджитал"

Моризо — аккредитованная ИТ-компания. Мы разработчик цифровых сервисов и услуг со специализацией в финансах, e-commerce и крупных внедрениях.

Уже более 20 лет мы растём и развиваемся вместе с ведущими федеральными и международными брендами — среди наших клиентов Сбер, МТС, Ак Барс Банк, Абсолют Страхование, Synergetic, Huawei Honor Cup, Aeroflot, World Class, ХК ЦСКА и другие.

На нашем счету — более 250 реализованных проектов. По итогам «Рейтинга Рунета» мы в числе лидеров по разработке финтех-сервисов и мобильных решений для спорта и здоровья.

Мы приглашаем в нашу команду опытного Python Data Engineer (ClickHouse) для работы над крупным проектом в банковской сфере.

Задачи в работе:

• Анализ существующих моделей данных источников, ETL процессов в GreenPlum

• Проектирование оптимальных схем хранения данных в ClickHouse, исходя из структуры источников и требований BI – инструментов

• Проектирование и реализация процессов ETL/ELT для переноса и трансформации данных

• Написание оптимизированных SQL запросов для эффективного извлечения и предварительной агрегации данных из GreenPlum

• Разработка, настройка и поддержка DAG-ов в AirFlow для оркестрации всего пайплайна данных

• Реализация механизмов инкрементальной загрузки данных для минимизации нагрузки на источник

• Мониторинг выполнения пайплайнов, трассировка ошибок, проверка целостности и согласованности данных между источником и приемником

Мы ожидаем от кандидата:

• Глубокое знание принципов построения и проектирования DWH, знание подходов к моделированию данных (Звезда, Снежинка, DataVault)
• Продвинутые навыки SQL, включая написание сложных запросов (оконные функции, CTE, сложные JOINs, агрегации) и оптимизацию запросов
• Практический опыт работы с инструментом управления потоками данных Apache Airflow
• Опыт проектирования, разработки и поддержки сложных DAG
• Знание концепции операторов, хуков, сенсоров, Xcom
• Настройка расписания, обработки ошибок и обеспечения отказоустойчивости ETL сценария
• Владение Python на уровне, достаточном для реализации задач в Airflow
• Продвинутое владение Git, обязательный опыт работы по GitFlow
• Умение работать с бизнес требованиями

Мы предлагаем:

• Гибкое начало рабочего дня, офисный формат (возможность работать в современном бизнес-центре по адресу Кутузовский проспект, 32)
• Официальное трудоустройство в аккредитованную ИТ-компанию в соответствии с ТК РФ
• Конкурентный уровень заработной платы
• Обучение, кураторство и поддержка коллег: как на начальном этапе, так и в дальнейшем
• Корпоративное обучение: профильные курсы и обучение английскому языку
• Забота о сотрудниках: корпоративные мероприятия, штатный психолог, программа развития внутренних стартапов

Присоединяйтесь к нашей команде, чтобы вместе создавать будущее цифровых технологий!​​​​​​​