Data Engineer( WeMakeTeam )
Город:
Москва
Занятость:
Полная занятость
Компания "WeMakeTeam"
Описание проекта:
Стек проекта: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.RL
Требования к кандидату:
• знаешь SQL на уровне оптимизации сложных запросов;
• знаешь принципы работы классических и MPP-СУБД;
• опыт разработки на Python и/или Java, Scala;
• опыт оркестрации ETL-пайплайнов с помощью Airflow;
• опыт работы с dbt;
• опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• опыт Apache Spark (Spark DataFrames, Spark SQL);
• знаком с банковской предметной областью;
• знакомство с банковской предметной областью;
• опыт работы с Kafka, Trino;
• опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
• знания и опыт CI/CD-практик и инструментов;
Задачи на проекте:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную
загрузку;
• работать с общебанковской data-платформой (data lake, dwh);
• разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать
оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• анализировать и оптимизировать производительность пайплайнов, инструментов и
дата-сервисов;
• развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• управлять обновлениями, настройками, устранять выявленные уязвимости,
восстанавливать сервисы после сбоев, обрабатывать инциденты.
- ВСЕГДА удаленный формат работы
- Аккредитованная IT компания
- Стабильная заработная плата, которую мы готовы обсуждать по итогам интервью
- Индексация оклада по итогам проекта или полугодия работы
- Премирование по итогам проекта или года работы
- Полноценный трудовой договор или оформление по удобному для вас формату сотрудничества (ИП, СЗ)
- Возможна организация обучения или сертификации, как по плану обучения внутри компании, так и по инициативе сотрудника
- Организация участия в профильных IT мероприятиях (в том числе по инициативе сотрудника)
- Реферальная программа для сотрудников – бонус за рекомендованного трудоустроенного IT-специалиста!
- Комфортное HR сопровождение на всех этапах сотрудничества
17 Июня
Robotics Software Engineer (команда Навигация)
Москва
Компания "ТехВилл" ТехВилл – IT-компания и партнёр ВкусВилл по развитию цифровых решений. Мы отвечаем за разработку мобильных и web-...
17 Июня
Senior QA Automation Engineer (Python)( А7-ТЕХНОЛОГИИ )
Москва
Компания "А7-ТЕХНОЛОГИИ" "A7 Технологии" входит в группу компаний A7 (платформа международных платежей). Мы создаем технологические...
17 Июня
Application Security Engineer / AppSec-инженер
Москва
от 250 000 до 300 000 руб.
Компания "HR ME" Привет! Мы ищем Application Security Engineer в международный холдинг. Задачи: Проектировать архитектуру...
17 Июня
Тестировщик QA Engineer Senior( Сальникова Ксения Григорьевна )
Москва
Компания "Сальникова Ксения Григорьевна" Приоритет отдаем кандидатам с высшим профильным образованием (ИТ), коммерческим опытом свыше 5 лет,...
17 Июня
Data Scientist - Credit Risks (релокация в Ташкент)
Москва
Компания "AVO SERVICES AND TECHNOLOGY" Data Scientist - Credit Risks (релокация в Ташкент) Команда AVO SERVICES AND TECHNOLOGY создает...
Вакансия размещена в отрасли