Data Engineer( S8 Capital )

Компания "S8 Capital"

В связи с развитием, ищем Data инженера в компанию холдинга «Столото»- крупнейшего распространителя всероссийских государственных лотерей, популярность которых в России стремительно растет.

Сегодня в лотереи регулярно играет до 40% жителей городов. Цифровые платформы «Столото» посещает более 10 млн пользователей. Потенциал лотерейного рынка огромен, и у вас есть возможность внести в него свой существенный вклад.

Обязанности:

• Поддержка и развитие архитектуры данных: разработка и настройка архитектуры хранения, обработки и передачи данных в соответствии с требованиями команды MLOps.
• Обработка и трансформация данных: обеспечение ETL-процессов, подготовка и очистка данных для машинного обучения и аналитики.
• Интеграция данных: настройка интеграций с различными источниками данных (API, базы данных, файловые хранилища и т.д.), в том числе поддержка интеграций с внутренними и внешними системами.
• Оптимизация производительности: мониторинг и настройка высокопроизводительных процессов обработки данных, улучшение скорости загрузки и трансформации данных.
• Поддержка больших данных: разработка решений для работы с большими объемами данных, обеспечение высоконагруженной и распределённой обработки данных с помощью инструментов Apache Spark и Hadoop.
• Поддержка аналитических моделей: подготовка данных для ML-моделей и аналитических решений, работа в тесном взаимодействии с инженерами и аналитиками по данным.
• Поддержка безопасности данных: соблюдение требований безопасности и конфиденциальности данных при их обработке и хранении.
• Документирование процессов: создание и поддержка документации по процессам обработки данных, чтобы обеспечить прозрачность и воспроизводимость процессов.

Требования:

• Опыт работы: более 3 лет в сфере Data Engineering, с опытом работы в крупных проектах по обработке данных.
• Знание ETL процессов: уверенные навыки работы с инструментами ETL для организации потоков данных, их очистки и трансформации.
• Знание SQL и баз данных: уверенное владение SQL, опыт работы с реляционными базами данных (PostgreSQL) и знание NoSQL решений.
• Опыт работы с большими данными: знание инструментов Apache Spark и Hadoop, опыт работы с распределенными вычислениями и обработкой больших объемов данных.
• Навыки программирования: уверенное владение Python для написания скриптов обработки данных, умение использовать Pandas, PySpark и другие библиотеки.
• Инструменты контейнеризации: базовое понимание Docker и Kubernetes для интеграции данных и их оркестрации.
• Инструменты мониторинга и визуализации данных: знание систем мониторинга, таких как Grafana, и навыки визуализации данных.
• Знание облачных технологий: опыт работы с облачными платформами для хранения и обработки данных будет преимуществом.
• Навыки работы с брокерами сообщений: Kafka или аналогичные решения для организации потоков данных.

Условия:

• Официальное оформление согласно ТК РФ;
• Дополнительное вознаграждение за результат – квартальные бонусы;
• Возможности развития (обучение, возможность горизонтального и вертикального роста);
• Расширенный полис ДМС со стоматологией;
• Гибкое начало рабочего дня, 5/2;
• Корпоративный спорт: футбол, хоккей, йога, беговой клуб;
• Собственное волонтёрское движение;
• Доступ к корпоративному пакету скидок – в фитнес-клубы, на уроки английского и т.д.;
• Корпоративная техника.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя