Data Engineer( SberAutoTech )
04 Февраля 2026
Город:
Москва
Занятость:
Полная занятость
Компания "SberAutoTech"
Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал.
Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas где объемы данных позволяют.
Чем предстоит заниматься:
- Разработка пайплайнов обработки данных;
- Формирование витрин с метриками;
- Постановка на регламент алгоритмов расчета метрик функций беспилотного вождения.
Примеры задач на первое время:
- Реализовать пайплайн/шаг в существующем пайплайне в котором будет реализован алгоритм расчета метрики функции автономного вождения (качество удержания в полосе, качество локализации, дальность распознавания);
- Оптимизировать обработку данных в существующем алгоритме путем перехода со Spark на Polars/Pyarrow с распараллеливанием обработки или оптимизации Spark запросов.
Наш стек: Python (pandas, polars, pyspark), Spark, Dagster, Kubernetes, S3, Clickhouse, Metabase
Что мы ждем от кандидата:
- Разработка на языке Python
- Хорошее знание SQL (на уровне джойнов и оконных функций)
- Был опыт обработки данных с использованием Python (Pandas/Polars)
- Знакомство со Spark и Airflow
Будет плюсом:
- Опыт работы с Clickhouse
- Опыт работы с Airflow/Luidgi/Dagster
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
03 Февраля
Data Scientist / ML-инженер( Медиалогия )
Москва
Компания "Медиалогия" Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа. Мы разрабатываем...
03 Февраля
Москва
Компания "Ozon" Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению...
03 Февраля
Аналитик данных/Data Analyst( РСХБ-Интех )
Москва
Компания "РСХБ-Интех" НАША КОМАНДА отвечает за создание и развитие персонализированной коммуникации с клиентами банка через цифровые каналы. Мы...
04 Февраля
Инженер по тестированию (Data Platform и ML)
Москва
Компания "МегаФон 1440" Чем предстоит заниматься: Проведение функционального тестирования нового функционала и регрессионного тестирования...
04 Февраля
AI/ML engineer( JFoRecruitment )
Москва
от 200 000 до 300 000 руб.
Компания "JFoRecruitment" Мы – JFoRecruitment , IT-рекрутинговое агентство, специализирующееся на поиске высококвалифицированных специалистов и...
Вакансия размещена в отрасли