Data Engineer/Старший инженер данных( АТОЛ, группа компаний )
Компания "АТОЛ, группа компаний"
Обязанности:
- Разрабатывать платформу данных (Spark на Kubernetes c хранением в S3-совместимое хранилище, Clickhouse, Postgres) с использованием Spark/PySpark, Kafka, Airflow, SQL, Python, Scala/Java;
- Организовывать конвейеры потоков данных для ML, сервисов data-продуктов (включая Near Real-time режим);
- Строить витрину событий для сервисов целевого маркетинга и для ML;
- Работать с различными базами, API и платформами данных;
- Парсить JSON-файлы, работать с гео-слоями;
- Развиваться в части архитектуры и разработки для тестирования и выбора оптимальной реализации дата-продуктов;
- Участвовать в разработке процесса управления релизными циклами;
- Профилировать данные, проводить очистку от дублей и ошибок, разрабатывать контроли по интеграциям;
- Разрабатывает детальный слой данных для витрин оптимальную с точки зрения быстродействия и комбинируемости с другими сущностями детального слоя с использованием Spark/PySpark, Kafka, Airflow, SQL, Python;
- Интегрировать платформу данных с источниками данных (Kafka, СУБД, файлы) по регламенту;
- Участвовать в разработке процесса управления релизными циклами.
Требования:
-
Хорошее знание Spark, желание работать со Scala и какой-либо промышленной СУБД, профессиональное владение SQL;
-
Опыт в проектах построения корпоративных хранилищ данных;
-
Умение писать и разбираться в коде Python/Java/Scala/Spark/PySpark/Airflow
-
Знакомство с NoSQL базами данных;
Условия:
- Много сложных и интересных задач, решение которых приносит пользу миллионам:
40% рынка пользуются нашими кассами, 50% — облачными технологиями, 20% — софтом - Работу в яркой команде, в которой каждый может влиять на процесс и результат
- Рост и развитие в среде профессионалов, опыт которых бесценен, и индивидуальные программы обучения от лучших провайдеров рынка
- Классный, современный и уютный офис в шаговой доступности от метро «Алексеевская», в котором есть место и для работы, и для отдыха
- Удобный график работы: время начала и окончания рабочего дня, возможность удалённой работы вы обсудите с руководителем
- В наш пакет ДМС включена стоматология, вызов врача на дом, консультации психолога и полис путешественника, также можно застраховать родственников (и взрослых, и детей) по льготному тарифу компании, а ещё мы страхуем жизни сотрудников от несчастного случая
- Корпоративная скидка на спорт и изучение английского языка
- Предоставляем материальную помощь в трудных жизненных ситуациях
- 3 day off, выходные дни по случаю (1 сентября, регистрация брака и пр.)
- Доплата по больничному листу до 100% оклада согласно внутренней политике компании
- Обеспечиваем необходимой техникой для работы (ноутбук, монитор и пр.)
Более подробную информацию о компании и корпоративной культуре вы можете найти на нашем карьерном сайте career.atol.ru