ETL инженер

от 250 000 до 300 000 руб.

Компания "Amex Development"

Удаленная работа!
Пожалуйста указывайте в сопроводительном письме Вашу локацию и желаемый уровень оплаты в рублях

Обязанности:

• Реализация интеграционных потоков через Kafka в режиме онлайн
• Реализация регламентных процессов по расчету витрин
• Реализация регламентных процессов по выгрузке данных в БД PostgreSQL
• Реализация процессов по рассылке оповещений на основе срабатывания триггеров
• Реализация DQ процессов на основе внутреннего инструментария DQ NEO

Технологии:

• Hadoop
• Kafka
• SQL
• Python
• Spark
• Hive
• Airflow
• Grafana
• ClickHouse

Требования:

• Опыт работы с Python, знание библиотек для обработки данных (Pandas, NumPy, Apache Spark)
• Опыт работы с инструментами обработки данных (Apache Hadoop, Apache Spark, Apache Kafka)
• Опыт работы с потоковой обработкой данных (Apache Kafka, Apache Flink, Apache Storm), знание концепций реального времени (real-time) и обработки потоковой данных
• Опыт работы с SQL (на уровне продвинутого уровня)
• Опыт работы с реляционными базами данных (PostgreSQL, MySQL, Oracle)
• Опыт работы с инструментами ETL/ELT (Apache Airflow, Apache NiFi, Talend)
• Опыт работы с системами управления данными (DataOps)
• Опыт работы с системами управления версиями (Git, GitHub, GitLab)

Условия:

• Полная занятость с графиком 5/2

• Удалённый формат работы
• Возможность профессионального роста
• Индивидуальный план развития и менторская поддержка
• Работа с современным стеком технологий и крупными игроками рынка

О компании:

Наша компания занимается созданием современного программного обеспечения и сотрудничает с крупными игроками российского рынка. Мы аккредитованная IT-компания, которая помогает клиентам внедрять инновационные продукты, меняющие мир к лучшему. Мы следим за современными тенденциями и применяем их в своей работе, предоставляя сотрудникам возможность учиться и развиваться. Присоединяйтесь к нам и реализуйте свои амбиции в дружной команде профессионалов!