Компания "S8 Capital"
В связи с развитием, ищем Data инженера в компанию холдинга «Столото»- крупнейшего распространителя всероссийских государственных лотерей, популярность которых в России стремительно растет.
Сегодня в лотереи регулярно играет до 40% жителей городов. Цифровые платформы «Столото» посещает более 10 млн пользователей. Потенциал лотерейного рынка огромен, и у вас есть возможность внести в него свой существенный вклад.
Обязанности:
- Поддержка и развитие архитектуры данных: разработка и настройка архитектуры хранения, обработки и передачи данных в соответствии с требованиями команды MLOps.
- Обработка и трансформация данных: обеспечение ETL-процессов, подготовка и очистка данных для машинного обучения и аналитики.
- Интеграция данных: настройка интеграций с различными источниками данных (API, базы данных, файловые хранилища и т.д.), в том числе поддержка интеграций с внутренними и внешними системами.
- Оптимизация производительности: мониторинг и настройка высокопроизводительных процессов обработки данных, улучшение скорости загрузки и трансформации данных.
- Поддержка больших данных: разработка решений для работы с большими объемами данных, обеспечение высоконагруженной и распределённой обработки данных с помощью инструментов Apache Spark и Hadoop.
- Поддержка аналитических моделей: подготовка данных для ML-моделей и аналитических решений, работа в тесном взаимодействии с инженерами и аналитиками по данным.
- Поддержка безопасности данных: соблюдение требований безопасности и конфиденциальности данных при их обработке и хранении.
- Документирование процессов: создание и поддержка документации по процессам обработки данных, чтобы обеспечить прозрачность и воспроизводимость процессов.
Требования:
- Опыт работы: более 3 лет в сфере Data Engineering, с опытом работы в крупных проектах по обработке данных.
- Знание ETL процессов: уверенные навыки работы с инструментами ETL для организации потоков данных, их очистки и трансформации.
- Знание SQL и баз данных: уверенное владение SQL, опыт работы с реляционными базами данных (PostgreSQL) и знание NoSQL решений.
- Опыт работы с большими данными: знание инструментов Apache Spark и Hadoop, опыт работы с распределенными вычислениями и обработкой больших объемов данных.
- Навыки программирования: уверенное владение Python для написания скриптов обработки данных, умение использовать Pandas, PySpark и другие библиотеки.
- Инструменты контейнеризации: базовое понимание Docker и Kubernetes для интеграции данных и их оркестрации.
- Инструменты мониторинга и визуализации данных: знание систем мониторинга, таких как Grafana, и навыки визуализации данных.
- Знание облачных технологий: опыт работы с облачными платформами для хранения и обработки данных будет преимуществом.
- Навыки работы с брокерами сообщений: Kafka или аналогичные решения для организации потоков данных.
Условия:
- Официальное оформление согласно ТК РФ;
- Дополнительное вознаграждение за результат – квартальные бонусы;
- Возможности развития (обучение, возможность горизонтального и вертикального роста);
- Расширенный полис ДМС со стоматологией;
- Гибкое начало рабочего дня, 5/2;
- Корпоративный спорт: футбол, хоккей, йога, беговой клуб;
- Собственное волонтёрское движение;
- Доступ к корпоративному пакету скидок – в фитнес-клубы, на уроки английского и т.д.;
- Корпоративная техника.