Senior Data Engineer( Spice Agency )
22 Октября 2024
Город:
Москва
Занятость:
Полная занятость
Компания "Spice Agency"
Сейчас мы в поиске опытного инженера данных в команду, нам нужен человек с реальным опытом построения пайплайнов обработки данных в реальном времени и пакетном режимах, разработки витрин данных, архитектуры данных на Big data стеке.
Чем предстоит заниматься
- разрабатывать пайплайны построения витрин данных и обработки данных в пакетном и онлайн режимах;
- тестирование пайпланов обработки данных;
- разработка мониторинга работы пайплайнов в продуктивном контуре;
- разрабатывать структуру хранилища по парадигме Data Vault 2.0;
- реализовать PoC (MVP) с использованием новых инструментов и технологий.
- птимизировать процессы хранения и обработки данных с использованием современных технологий и подходов;
- реализация распределенных алгоритмов на больших данных;
- разработка, продукционализации и оптимизация признаков для моделей машинного обучения;
- разработка пайплайнов обезличивания данных для тестирования признаков для моделей машинного обучения;
- разработка архитектуры данных для Feature store
Что ожидаем от тебя
- Опыт коммерческой разработки от 3-5 лет, основной ЯП - Scala, Python;
- SQL - аналитические функции, оконные функции, триггеры. PostgreSQL, Redis, Greenplum;
- Опыт обработки данных с помощью Apache Spark (основной фреймворк платформы), Apache Spark structured streaming, Flink, Apache Kafka, оптимизация Apache Spark задач (понимание работы изнутри, оптимизация параметров работы джобов);
- Опыт работы с манипуляцией данными в распределённых файловых хранилищах HDFS, Ceph S3;
- Опыт работы в работы со стеком Hadoop (Yarn, Spark History server);
- Опыт разработки дагов Apache Airflow (все пайплайны оркестрируются);
- Опыт работы с Feature store (Feast).
Будет плюсом:
- Опыт работы с табличным форматом хранения данных Delta lake;
- Опыт работы с Data science в части MLOP;
- Опыт работы с метадатакаталогами (DataHub), качество данных (Great Expectation).
Что готовы предложить
- Оформление по ТК РФ: оклад(готовы обсуждать)+ годовой бонус;
- Компания входит в реестр ИТ компаний;
- Удаленный формат работы ( в РФ)
- ДМС со стоматологией (с 1 рабочего дня + полис путешественника)
-
Как мы проводим собеседования:
- 15-20 минут - общение с рекрутером (tg аудио);
- 90 минут - техническое интервью
- 60 минут - финальная встреча
- СБ, 1-3 дня
- Оффер
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
15 Октября
QA Automation Engineer (TypeScript)
Москва
Компания "Клауд Солюшенс" Сloud X — облачная платформа CX Platform (IaaS, PaaS, SaaS) с продуктами в области ML, больших данных и Интернета...
15 Октября
BigData administrator / SRE( WILDBERRIES )
Москва
Компания "WILDBERRIES" Кого мы ищем Талантливого, проактивного и опытного BigData/DWH SRE в команду Инфраструктуры. Строим с нуля...
15 Октября
Москва
Компания "АСТ" Компания АО «АСТ» аккредитована Минцифры РФ , как системный интегратор, предоставляем комплексные инновационные решения по...
15 Октября
Embedded reverse engineer( АСТ )
Москва
Компания "АСТ" Компания АО «АСТ» аккредитована Минцифры РФ , как системный интегратор, предоставляет комплексные инновационные решения по...
15 Октября
Москва
Компания "Auriga" Аурига - аккредитованная IT-компания, оказывающая услуги по разработке ПО и ИТ-консалтингу с 1990 года. Являемся активным...
Вакансия размещена в отрасли