Разработчик ETL / Data Engineer

Компания "MERLION"

Приглашаем в дружную профессиональную команду ETL разработчика.

Вам предстоит:

• Настраивать процессинг данных в рамках принятой модели DWH;

• Проектировать и разрабатывать целевые витрины для конечных пользователей и data продуктов;

• Рефакторинг и оптимизация запросов;

• Разрабатывать ETL\ELT процессы;

• Чинить ошибки, выявленные в ходе эксплуатации;

• Разрабатывать общие шаблоны типовых трансформаций, инструментарий автодокументирования и линеджа;

• тестировать свой код, рефакторить код и поддерживать читаемость кода и документации.

Наш стек: OpenMetadata, Python, Vertica SQL, MS SQL, Bitbucket/GitLab, SSIS, SSAS, Tabular, S3, Power BI, DataLens, ClickHouse, Apache AirFlow, SSRS, Kafka, Atlassian Jira, Confluence.

Ваш опыт, навыки и личные качества:

• Знание python (практический опыт от 2х лет), обязательно опыт разработки промышленных приложений\сложных ETL процессов;

• Опыт работы с AirFlow;

• Уверенное владение SQL, диалекты MPP RDBMS (желательно Vertica);

• Знание принципов организации и типовых практик по загрузке и базовой трансформации (очистка, приведение типов и т.д.) данных;

• Навыки получения данных с различных типов источников: БД, API, Web сервисы, e-mail, Kafka, различные форматы файлов (Excel, JSON, Xml, Parquet) на различных источниках (S3, папка, Sftp);

• Понимание как работать в рамках организованного CI/CD процесса.

Как мы работаем:

• У нас in-house разработка;
• Долгосрочные проекты – игра «в долгую» (не проектная занятость);
• Используем agile-подход с двухнедельными спринтами;
• Один на один с трудностями не оставляем, всё обсуждаем и помогаем друг другу.

Мы предлагаем:

• Удаленный график работы;
• Корпоративная программа лояльности, скидки на товары и услуги партнёров;
• Сильная команда специалистов по разным направлениям;
• График работы пн-пт 10:00 – 18:30;
• Официальное трудоустройство в штат аккредитованной IT компании по ТК РФ.

Спасибо за отклик! Если ваше резюме соответствует вакансии, мы свяжемся с вами в ближайшее время.