Data engineer / Дата-инженер

12 Ноября

Город:

Москва

Занятость:

Полная занятость

Компания "STARTRIBE LTD"

Команда разработки решений для маркетологов компании ищет опытного дата инженера для создания хранилища данных в рамках внутреннего технологического продукта. Мы занимаемся автоматизацией запуска и проведения маркетинговых акций и других промо активностей компании. И разрабатываем как решения для конечных пользователей, так и системы для внутреннего использования. У команды несколько логически связанных решений под нужды маркетинга, которые разрабатываются параллельно и могут влиять друг на друга.

Обязанности и задачи:

Участие в проектировании и выстраивание (совместно с DevOps) с 0 платформы данных в компании
Разработка, тестирование и документация ETL процессов с основными источниками данных
Проектирование и разработка DWH
Активно развивать Data Quality и Governance направление. Автоматизация проверок качества данных
Формирование системы мониторинга целостности и качества данных

Требуемые знания и опыт:

Опыт работы дата инженером от 2 лет
Опыт и понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT)
Опыт разработки и организации ETL на Python (опыт работы и поддержки Dagster, Prefect, Airflow - как преимущество)
Опыт работы с Docker, Kubernetes
Актуальные знания или желание разобраться в релевантных open source решениях - Apache Iceberg, Delta Lake, Trino и другие
Свободный SQL и продвинутый уровень владения Python

Плюсом будет:

Практический опыт работы с dbt
Практический опыт работы с Data Lake / Lakehouse на базе s3 Minio + Apache Iceberg / Delta + Trino (или аналоги)
Глубокое понимание архитектуры и принципов работы Clickhouse

Мы предлагаем:
График работы 5/2 с 9.00 до 18.00.
Удаленный формат работы
Оплачиваемый отпуск.
Гибкий подход к управлению, постановке задач, процессам.
Перспективные проекты и продвинутые технологии.
Интересные задачи в дружной и большой команде.
Отсутствие ненужной бюрократии, возможность реализовывать свои идеи.