Data Engineer (Геосервисы, Core)
Город:
Москва
Занятость:
Полная занятость
Компания "WILDBERRIES"
Мы развиваем собственную геоплатформу Wildberries, которая обеспечивает работу сервисов отображения карт, геопоиска и маршрутизации для других сервисов компании. Платформа обрабатывает большие объёмы геоданных: адресные базы, дорожные графы, пользовательские треки и события дорожной ситуации. Data-инженер будет отвечать за построение и развитие инфраструктуры обработки данных, подготовку датасетов для ML-моделей, алгоритмов поиска и маршрутизации.
Вам предстоит:
- Разрабатывать и поддерживать ETL/ELT-пайплайны обработки геоданных (адресные данные, дорожные графы, события трафика, пользовательские треки);
- Обеспечивать сбор, очистку и нормализацию геоданных из различных источников (внутренние сервисы, внешние датасеты, телеметрия);
- Подготавливать датасеты для ML-моделей геопоиска и маршрутизации (ранжирование результатов поиска, ETA, анализ трафика);
- Разрабатывать хранилища и витрины данных для аналитики, алгоритмических сервисов и ML-команд;
- Оптимизировать производительность обработки больших объёмов геоданных и обеспечивать надёжность пайплайнов;
- Работать совместно с командами ML, алгоритмистов и backend-разработчиков над интеграцией данных в сервисы геоплатформы.
Вы нам подходите, если:
- Имеете опыт работы Data-инженером от 3-х лет и опыт построения ETL/ELT-процессов;
- уверенно владеете Python, SQL, опыт работы с инструментами обработки больших данных, желательно владение Go или желание изучения (Основной язык сервисов);
- имеете опыт работы с системами обработки данных (Spark, Hadoop, ClickHouse, Kafka или аналогичные технологии), опыт работы и понимание архитектуры OpenSearch/ElasticSearch;
- понимаете принципов построения хранилищ данных и витрин для аналитики и ML;
- имеете опыт работы с большими объёмами данных и оптимизации пайплайнов обработки;
- работали с геоданными, треками или графами дорог будет преимуществом.
20 Мая
Аналитик данных (Data analyst)
Москва
Компания "Красное & Белое, розничная сеть" Для решение разнообразных и интересных задач в команду Аналитического отдела требуются новые...
22 Мая
Москва
Компания "UserGate" О нас 24 часа в сутки мы детектируем атаки и с максимальной скоростью разрабатываем и публикуем рекомендации по защите...
15 Мая
Middle+/Senior Kubernetes Platform Engineer
Москва
Компания "2ГИС" Привет! Мы — команда Infrastructure & Operations. Создаем PaaS платформу для работы с "Data services" (DS): PostgreSQL, Redis,...
21 Мая
Senior Data Scientist/ML Engineer в направление RecSys
Москва
Компания "X5 Tech" X5 Group — российская розничная торговая компания, управляющая продуктовыми торговыми сетями «Пятёрочка», «Перекрёсток» и...
16 Мая
Москва
Компания "ВиаМоби" ООО "ВиаМоби" - группа компаний, занимающихся разработкой и поддержкой мобильных сервисов для операторов связи в РФ и СНГ....
Вакансия размещена в отрасли