Data Engineer (Геосервисы, Core)

Компания "WILDBERRIES"

Мы развиваем собственную геоплатформу Wildberries, которая обеспечивает работу сервисов отображения карт, геопоиска и маршрутизации для других сервисов компании. Платформа обрабатывает большие объёмы геоданных: адресные базы, дорожные графы, пользовательские треки и события дорожной ситуации. Data-инженер будет отвечать за построение и развитие инфраструктуры обработки данных, подготовку датасетов для ML-моделей, алгоритмов поиска и маршрутизации.

Вам предстоит:

• Разрабатывать и поддерживать ETL/ELT-пайплайны обработки геоданных (адресные данные, дорожные графы, события трафика, пользовательские треки);
• Обеспечивать сбор, очистку и нормализацию геоданных из различных источников (внутренние сервисы, внешние датасеты, телеметрия);
• Подготавливать датасеты для ML-моделей геопоиска и маршрутизации (ранжирование результатов поиска, ETA, анализ трафика);
• Разрабатывать хранилища и витрины данных для аналитики, алгоритмических сервисов и ML-команд;
• Оптимизировать производительность обработки больших объёмов геоданных и обеспечивать надёжность пайплайнов;
• Работать совместно с командами ML, алгоритмистов и backend-разработчиков над интеграцией данных в сервисы геоплатформы.

Вы нам подходите, если:

• Имеете опыт работы Data-инженером от 3-х лет и опыт построения ETL/ELT-процессов;
• уверенно владеете Python, SQL, опыт работы с инструментами обработки больших данных, желательно владение Go или желание изучения (Основной язык сервисов);
• имеете опыт работы с системами обработки данных (Spark, Hadoop, ClickHouse, Kafka или аналогичные технологии), опыт работы и понимание архитектуры OpenSearch/ElasticSearch;
• понимаете принципов построения хранилищ данных и витрин для аналитики и ML;
• имеете опыт работы с большими объёмами данных и оптимизации пайплайнов обработки;
• работали с геоданными, треками или графами дорог будет преимуществом.