Data engineer (Data platform)

Компания "WILDBERRIES"

Объединённая компания Wildberries и Russ (ООО «РВБ») — это международная технологическая компания, основанная в России. Она образована в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ — с целью совместного создания новейшей цифровой торговой платформы и предоставления бесшовных инструментов для развития малого и среднего бизнеса на территории стран присутствия.

Ищем дата инженера в направление Data Platform!

Обязанности:

• обеспечение стабильной, производительной и безопасной работы Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте
• настройка, обновление, мониторинг и тюнинг кластеров Trino
• настройка коннекторов (Iceberg, S3)
• оптимизация производительности запросов (resource groups, query analysis)
• настройка и оптимизация кластеров Spark
• работа с S3 (политики доступа, шифрование, версионирование, оптимизация стоимости/производительности)
• оптимизация производительности Iceberg (partitioning, clustering, metadata management)
• мониторинг и алертинг Prometheus, Grafana
• резервное копирование/восстановление кластеров, критических компонентов
• настройка аутентификации, авторизации для Trino, Spark, Iceberg, Hive Metastore интеграция с Ranger
• разработка и внедрение централизованной ролевой модели для доступа к данным и ресурсам платформы

Требования:

• понимание взаимодействия Spark с Iceberg и S3
• опыт эксплуатации Apache Iceberg (администрирования таблиц в формате Iceberg, настройка и использование Hive Metastore)
• понимание и применение: compaction, expiration snapshots, time travel, schema evolution
• навыки Linux, Bash, Python для автоматизации
• опыт управление политиками доступа и правами доступа через Ranger в S3 и Iceberg
• опыт разработка и внедрение централизованной ролевой модели для доступа к данным и ресурсам платформы.

Будет плюсом:

• базовые IaC (Terraform/Ansible)
• опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg)
• опыт настройки маскирования данных и фильтрации на уровне строк (Row-Level Filtering) в Ranger для Trino, Spark
• оркестрация (Airflow)
• опыт администрирования Superset.

Условия:

• возможность работать над высоконагруженным продуктом, который используют миллионы пользователей

• современный стек технологий и доступ к мощным вычислительным ресурсам

• профессиональное развитие: участие в конференциях, курсах и воркшопах

• гибкий график работы и возможность удаленной работы

• стабильность и уверенность в завтрашнем дне — оформление по ТК РФ с первого дня, нацеленность на долгосрочную совместную работу

• бесплатное питание в офисе (шведский стол)

• гибкие бизнес-процессы, минимум бюрократии и согласований

• ДМС со стоматологией после испытательного срока

• просторный опенспейс, кофейня, йога в офисе, настольный теннис, много растений