Reinforcement Learning Engineer (Robotics & Manipulation, VLA)

Компания "ТехВилл"

ТехВилл – IT-компания и партнёр ВкусВилл по развитию цифровых решений.
Мы отвечаем за разработку мобильных и web- приложений, автоматизацию бизнес-процессов, искусственный интеллект, devops, инфобез ВкусВилла.

Нашими решениями пользуется свыше 1 000 000 клиентов и сотрудников ВкусВилла.

На данный момент мы ищем ML-программиста, который будет работать с продуктом «ВкусВилл» в направлении робототехники.

Обязанности:

Ключевые задачи (сфокусированные на манипуляции):

• Разработка RL-агентов для управления манипуляторами:
• Исследование, прототипирование и внедрение алгоритмов обучения с подкреплением, обратного обучения с подкреплением (Inverse RL) и имитационного обучения (Imitation Learning) для решения задач:
• Достижения цели (Reach): Точное позиционирование захвата в пространстве.
• Захват объектов (Grasping): Генерация устойчивых и эффективных хватов для разнообразных объектов.
• Манипулирования объектами (In-Hand Manipulation): корректировка захвата, перекладывание, точное позиционирование объекта в захвате.
• Силового контроля (Force Control): Реализация "чувства касания" для работы с хрупкими или деформируемыми объектами.
• Разработка, обучение и валидация RL-агентов в высокоточных симуляционных средах (Isaac Sim) с последующим переносом (Sim-to-Real) на физические роботизированные манипуляторы.
• Разработка симуляционных сред для манипуляции:
• Активная работа над созданием, поддержкой и улучшением симуляционных сцен, включающих: 1) Разнообразные объекты для манипуляции (с различной геометрией, массой, текстурой). 2) Реалистичную физику контакта и трения. 3) Модели сенсоров (тактовые датчики, данные о усилии/моменте с сервоприводов).
• Интеграция Perception и Action: Тесная работа с командой восприятия для интеграции моделей (например, сегментация сцены, 3D-детекция объектов) в цикл принятия решений RL-агента для манипуляции в условиях неопределенности.
• Работа с робототехническими данными: Сбор, анализ и подготовка данных для обучения (логи симуляций, демонстрации экспертов для Imitation Learning) и последующий анализ поведения моделей на реальном железе.
• Оптимизация для реального времени: Профилирование и оптимизация производительности ML-моделей для работы в реальном времени на вычислительных блоках, установленных на роботах.
• Полный цикл разработки: Участие в полном цикле — от идеи и прототипа в симуляции до развертывания, тестирования и поддержки алгоритмов на реальных роботах-манипуляторах.

Наш стек технологий:

• Языки и ML-фреймворки: Python 3.x, PyTorch, Stable-Baselines3, SKRL, IsaacLab, OpenAI Gym
• Робототехнические фреймворки: ROS 2 (Control, MoveIt 2), OpenCV, PCL
• Языки для высокопроизводительных модулей: C++ (17/20) — для критичных к производительности модулей управления.
• Инструменты: Docker, Git, Linux, CI/CD (GitLab CI/Jenkins), ONNX, TensorRT
• Сенсоры и Hardware: Манипуляторы , захваты , тактильные и силомоментные датчики, RGB-D камеры.

Требования:

• Имеете опыт коммерческой разработки на Python от 2 лет, из них не менее 1 года в области машинного обучения/глубокого обучения.
• Имеете практический опыт работы с PyTorch и интересуетесь или имеете начальный опыт в обучении с подкреплением.
• Имеете базовое понимание кинематики и динамики роботов-манипуляторов или готовы быстро погрузиться в тему.
• Имеете базовый опыт работы с ROS 2 или готовы быстро освоить (особенно важны пакеты ros2_control и MoveIt 2).
• Уверенно работаете в ОС Linux и с системой контроля версий Git.
• Умеете писать чистый, поддерживаемый код под руководством старших коллег.
• Способны самостоятельно выполнять поставленные задачи в рамках проекта.

Будет огромным плюсом:

• Опыт работы с RL-фреймворками, ориентированными на робототехнику: IsaacLab, SKRL, RSL-RL.
• Опыт разработки и работы в симуляторе NVIDIA Isaac Sim с роботами-манипуляторами.
• Знакомство с инструментами для оптимизации и развертывания ML-моделей (ONNX, TensorRT) для эффективного инференса на edge-устройствах.
• Опыт профилирования и оптимизации кода для систем с ограниченными вычислительными ресурсами.
• Участие в проектах, связанных с компьютерным зрением для робоманипуляции (6D pose estimation, segmentation).
• Понимание подходов к переносу из симуляции в реальность (Sim-to-Real).
• Личные проекты или публикации в области ML/RL, особенно связанные с манипуляцией.

Условия:

• Работа в аккредитованной IT-компании;
• Гибрид; На ключевых этапах проекта требуется работа на месте. Ожидается готовность к периодическим визитам;
• Официальное оформление с первого дня работы и поддержка куратора во время адаптации;
• Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций;
• Экологичная культура и адекватные руководители;
• Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников;
• Бонус 15% с покупок во ВкусВилл;
• Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка;
• Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.