Robot Tester / Benchmark Engineer

Компания "Сбербанк"

Центр робототехники Сбера развивает робототехнические системы и прикладной ИИ для реальных физических задач. В Data Conveyor Team мы отвечаем за данные для обучения и улучшения моделей манипуляции: в том числе проверяем, как модели ведут себя на реальном роботе, и превращаем результаты тестов в понятные задачи на новые данные. Сейчас нам нужен Robot Tester / Benchmark Engineer: аккуратный оператор тестов, который сможет проводить проверки по протоколу, фиксировать результаты и понятно описывать ошибки.

Обязанности

- Планировать и проводить повторяемые тестовые сессии моделей на реальном роботе и в продуктовых сценариях.

- Следить, чтобы тесты проходили по единому протоколу: одинаковые стартовые условия, объекты, окружение, критерии успеха и формат отчета.

- Фиксировать результат каждого запуска: версия модели, сценарий, условия, видео/логи, успех или тип ошибки.

- Собирать данные из успешных и неуспешных запусков, чтобы их можно было использовать для анализа и дообучения.

- Координировать сбор корректирующих демонстраций, когда тест показывает, что модели не хватает примеров.

- Размечать типы ошибок: perception, wrong object, bad grasp, trajectory instability, task misunderstanding, collision, data gap, deployment issue.

- Превращать результаты тестов в понятные рекомендации: какие задачи, объекты, условия или ошибки нужно покрыть в следующих данных.

- Проверять покрытие тестовых сценариев: насколько хорошо они отражают реальные задачи, варианты окружения и набор объектов для манипуляции.

Требования

- Высокая операционная надежность: умение монотонно и аккуратно выполнять тестовый протокол без потери деталей.

- Уверенная работа с Ubuntu command line, git, Docker, логами и сервисами.

- Базовое понимание k8s / virtualization concepts: достаточно, чтобы следовать runbooks, перезапускать компоненты и описывать проблемы.

- Опыт работы с техническими стендами, роботами, ML evaluation, QA, field testing или сложными hardware/software systems.

- Базовое программирование и data handling: Python scripts, tables, logs, simple plots или отчеты.

- Способность ясно документировать наблюдаемое поведение робота, шаги воспроизведения ошибки, сбои, скриншоты, ссылки на видео и итоговые выводы.

- Внимание к safety, деталям, чистоте эксперимента и воспроизводимости.

Будет плюсом:

- Опыт с robot testing, teleoperation, manipulation benchmarks или тестированием ML policies на роботах.

- Понимание метрик успешности, классификации ошибок, устойчивости поведения модели, регрессионного тестирования и аудита тестовых сценариев.

- Умение на базовом web/backend уровне помогать развивать инструменты для описания тестовых сценариев, действий робота и набора объектов.

- Опыт с hardware diagnostics: камеры, wiring, actuators, communication, calibration, basic lab equipment.

Условия

• Дружный и высококвалифицированный коллектив
• Уникальные масштабные проекты, работа в приоритетном направлении
• Достойная заработная плата (оклад + годовая премия)
• Современные рабочие места и программное обеспечение
• ДМС, корпоративная пенсионная программа, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия
• Высокий уровень корпоративной культуры
• Работа в офисе (г. Москва, метро Кутузовская)