Data Engineer (Разработчик Hadoop/Spark)

Компания "Ventra"

Стек технологий: · Hadoop (HDFS, Hive, YARN, Spark, Kafka), интеграции с БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, оркестрация Airflow,ETL Spark, Python/Scala, SAP DS, облачные технологии YandexCloud.

Задачи:

• проектирование и разработка витрин данных;

• мониторинг, поддержка, оптимизация ETL-процессов;

• интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных);

• поддержка команды и пользователей по вопросам эффективной работы с данными.

Навыки:

• уверенные знания SQL;

• знание Python;

• понимание принципов организации хранилищ данных, ETL/ELT, форматов хранения данных;

• уверенный опыт работы с Hadoop, Spark, Airflow.

Условия:

Полностью официальное трудоустройство;

Высокий конкурентный оклад;

Карьерное развитие внутри команды-профессионалов;

ДМС;

Современное корпоративное оборудование;

Гибкий режим работы (удаленный график, при желании есть возможность приезжать в офис).

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя