Data Engineer( WeMakeTeam )

WeMakeTeam

Город:

Москва

Занятость:

Полная занятость

Компания "WeMakeTeam"

Описание проекта:
Стек проекта: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.RL

Требования к кандидату:
• знаешь SQL на уровне оптимизации сложных запросов;
• знаешь принципы работы классических и MPP-СУБД;
• опыт разработки на Python и/или Java, Scala;
• опыт оркестрации ETL-пайплайнов с помощью Airflow;
• опыт работы с dbt;
• опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• опыт Apache Spark (Spark DataFrames, Spark SQL);
• знаком с банковской предметной областью;
• знакомство с банковской предметной областью;
• опыт работы с Kafka, Trino;
• опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
• знания и опыт CI/CD-практик и инструментов;

Задачи на проекте:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную
загрузку;
• работать с общебанковской data-платформой (data lake, dwh);
• разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать
оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• анализировать и оптимизировать производительность пайплайнов, инструментов и
дата-сервисов;
• развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• управлять обновлениями, настройками, устранять выявленные уязвимости,
восстанавливать сервисы после сбоев, обрабатывать инциденты.

Условия:

ВСЕГДА удаленный формат работы
Аккредитованная IT компания
Стабильная заработная плата, которую мы готовы обсуждать по итогам интервью
Индексация оклада по итогам проекта или полугодия работы
Премирование по итогам проекта или года работы
Полноценный трудовой договор или оформление по удобному для вас формату сотрудничества (ИП, СЗ)
Возможна организация обучения или сертификации, как по плану обучения внутри компании, так и по инициативе сотрудника
Организация участия в профильных IT мероприятиях (в том числе по инициативе сотрудника)
Реферальная программа для сотрудников – бонус за рекомендованного трудоустроенного IT-специалиста!
Комфортное HR сопровождение на всех этапах сотрудничества