Senior Data Engineer( Spice Agency )

Компания "Spice Agency"

Сейчас мы в поиске опытного инженера данных в команду, нам нужен человек с реальным опытом построения пайплайнов обработки данных в реальном времени и пакетном режимах, разработки витрин данных, архитектуры данных на Big data стеке.

Чем предстоит заниматься

• разрабатывать пайплайны построения витрин данных и обработки данных в пакетном и онлайн режимах;
• тестирование пайпланов обработки данных;
• разработка мониторинга работы пайплайнов в продуктивном контуре;
• разрабатывать структуру хранилища по парадигме Data Vault 2.0;
• реализовать PoC (MVP) с использованием новых инструментов и технологий.
• птимизировать процессы хранения и обработки данных с использованием современных технологий и подходов;
• реализация распределенных алгоритмов на больших данных;
• разработка, продукционализации и оптимизация признаков для моделей машинного обучения;
• разработка пайплайнов обезличивания данных для тестирования признаков для моделей машинного обучения;
• разработка архитектуры данных для Feature store

Что ожидаем от тебя

• Опыт коммерческой разработки от 3-5 лет, основной ЯП - Scala, Python;
• SQL - аналитические функции, оконные функции, триггеры. PostgreSQL, Redis, Greenplum;
• Опыт обработки данных с помощью Apache Spark (основной фреймворк платформы), Apache Spark structured streaming, Flink, Apache Kafka, оптимизация Apache Spark задач (понимание работы изнутри, оптимизация параметров работы джобов);
• Опыт работы с манипуляцией данными в распределённых файловых хранилищах HDFS, Ceph S3;
• Опыт работы в работы со стеком Hadoop (Yarn, Spark History server);
• Опыт разработки дагов Apache Airflow (все пайплайны оркестрируются);
• Опыт работы с Feature store (Feast).

Будет плюсом:

• Опыт работы с табличным форматом хранения данных Delta lake;
• Опыт работы с Data science в части MLOP;
• Опыт работы с метадатакаталогами (DataHub), качество данных (Great Expectation).

  Что готовы предложить

• Оформление по ТК РФ: оклад(готовы обсуждать)+ годовой бонус;
• Компания входит в реестр ИТ компаний;
• Удаленный формат работы ( в РФ)
• ДМС со стоматологией (с 1 рабочего дня + полис путешественника)

• Как мы проводим собеседования:

• 15-20 минут - общение с рекрутером (tg аудио);
• 90 минут - техническое интервью
• 60 минут - финальная встреча
• СБ, 1-3 дня
• Оффер

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя