Data Engineer( WeMakeTeam )
Город:
Москва
Занятость:
Полная занятость
Компания "WeMakeTeam"
Описание проекта:
Стек проекта: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.RL
Требования к кандидату:
• знаешь SQL на уровне оптимизации сложных запросов;
• знаешь принципы работы классических и MPP-СУБД;
• опыт разработки на Python и/или Java, Scala;
• опыт оркестрации ETL-пайплайнов с помощью Airflow;
• опыт работы с dbt;
• опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• опыт Apache Spark (Spark DataFrames, Spark SQL);
• знаком с банковской предметной областью;
• знакомство с банковской предметной областью;
• опыт работы с Kafka, Trino;
• опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
• знания и опыт CI/CD-практик и инструментов;
Задачи на проекте:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную
загрузку;
• работать с общебанковской data-платформой (data lake, dwh);
• разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать
оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• анализировать и оптимизировать производительность пайплайнов, инструментов и
дата-сервисов;
• развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• управлять обновлениями, настройками, устранять выявленные уязвимости,
восстанавливать сервисы после сбоев, обрабатывать инциденты.
- ВСЕГДА удаленный формат работы
- Аккредитованная IT компания
- Стабильная заработная плата, которую мы готовы обсуждать по итогам интервью
- Индексация оклада по итогам проекта или полугодия работы
- Премирование по итогам проекта или года работы
- Полноценный трудовой договор или оформление по удобному для вас формату сотрудничества (ИП, СЗ)
- Возможна организация обучения или сертификации, как по плану обучения внутри компании, так и по инициативе сотрудника
- Организация участия в профильных IT мероприятиях (в том числе по инициативе сотрудника)
- Реферальная программа для сотрудников – бонус за рекомендованного трудоустроенного IT-специалиста!
- Комфортное HR сопровождение на всех этапах сотрудничества
22 Марта
Full-stack QA Engineer( Альфа Капитал )
Москва
Компания "Альфа Капитал" Привет! Мы работаем на рынке инвестиций и занимаемся доверительным управлением. Входим в ТОП-5, в цифрах это: 1,5...
23 Марта
Москва
Компания "СберЛизинг" СберЛизинг – лизинговая компания экосистемы Сбера, один из лидеров рынка России. Наша команда создаёт технологичные...
24 Марта
Инженер по управляемым базам данных (Managed Database Engineer)
Москва
Компания "Яндекс" Команда Yandex Cloud непрерывно расширяет количество доступных сервисов и совершенствует свои продукты. Одновременно...
24 Марта
Москва
до 575 000 руб.
Компания "iSpring" Senior Full Stack QA Engineer (с потенциалом тимлида) iSpring — международная продуктовая IT‑компания. Мы создаём...
25 Марта
Владелец продукта (Data / BI / DWH)
Москва
Компания "МАГНИТ, Розничная сеть" Мы ищем владельца продукта, который будет отвечать за развитие data-продукта (BI/DWH), формирование его...
Вакансия размещена в отрасли