Data Engineer( SberAutoTech )
09 Июня 2026
Город:
Москва
Занятость:
Полная занятость
Компания "SberAutoTech"
Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал.
Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas где объемы данных позволяют.
Чем предстоит заниматься:
- Разработка пайплайнов обработки данных;
- Формирование витрин с метриками;
- Постановка на регламент алгоритмов расчета метрик функций беспилотного вождения.
Примеры задач на первое время:
- Реализовать пайплайн/шаг в существующем пайплайне в котором будет реализован алгоритм расчета метрики функции автономного вождения (качество удержания в полосе, качество локализации, дальность распознавания);
- Оптимизировать обработку данных в существующем алгоритме путем перехода со Spark на Polars/Pyarrow с распараллеливанием обработки или оптимизации Spark запросов.
Наш стек: Python (pandas, polars, pyspark), Spark, Dagster, Kubernetes, S3, Clickhouse, Metabase
Что мы ждем от кандидата:
- Разработка на языке Python
- Хорошее знание SQL (на уровне джойнов и оконных функций)
- Был опыт обработки данных с использованием Python (Pandas/Polars)
- Знакомство со Spark и Airflow
Будет плюсом:
- Опыт работы с Clickhouse
- Опыт работы с Airflow/Luidgi/Dagster
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
30 Мая
Senior QA Automation Engineer( Simplenight )
Москва
от 150 000 до 300 000 руб.
Компания "Simplenight" Position: QA Automation Engineer Level: Senior Experience: 8+ years (NOT freelancing) Location: Remote...
30 Мая
Стажер data science (ИИ в агростраховании)
Москва
Компания "МАЙНДСЭТ" Вакансия: Стажёр по анализу сельскохозяйственных рисков В компанию требуется стажёр по направлению «машинное обучение в...
30 Мая
Data Scientist (LLM & ML) в команду «История операций» СберБанк Онлайн
Москва
Компания "Сбербанк" О команде и вызове «История операций» — это один из самых высоконагруженных и посещаемых экранов в приложении. Наша цель...
30 Мая
Руководитель проекта (SberData)
Москва
Компания "Сбербанк" SberData – подразделение Сбера, которое занимается разработкой инфраструктуры для поставки, хранения и обработки данных....
30 Мая
DevOps / DevSecOps Engineer (проектная работа)
Москва
Компания "Printum" Компания Printum ищет DevOps / DevSecOps инженера для развития процессов безопасной разработки и автоматизации...
Вакансия размещена в отрасли