ML инженер (LLM Platform Engineer)

Компания "Сбербанк"

Наша задача - создать Fabrique агентного роя (ASC AI Fabrique) - систему автоматического самовоспроизводящегося и самосовершенствующегося разработки, которая создает ИИ-агентов для оптимизации различных бизнес-процессов клиентских менеджеров. ASC AI Fabrique представляет собой рой специализированных ИИ-агентов, задача которых - выполнять полный SDLC (жизненный цикл разработки программного обеспечения) для создания других ИИ-агентов.

ASC AI Fabrique — это мета-генеративная фабрика цифровых сотрудников (ИИ-агентов), построенная на парадигме Agentic Swarm Coding. Система способна автономно проектировать, кодировать, тестировать и разворачивать ИИ-агентов по текстовому бизнес-описанию.

Обязанности

• развертывание и оптимизация LLM моделей на multi-GPU установках с tensor/pipeline/data parallelism
• организация MLOps-процессов и системная оценка качества моделей
• обеспечение production latency <2s>95% для инфраструктуры inference
• профилирование и оптимизация использования VRAM (CUDA OOM prevention)
• мониторинг GPU-производительности.

Требования

• Python (asyncio, multiprocessing, typing) Advanced уровня
• Bash/Shell scripting Advanced уровня для автоматизации развертывания
• практический опыт с vLLM, TensorRT-LLM, TGI для serving моделей
• опыт работы с квантизацией (AWQ, GPTQ, GGUF) для снижения требований к VRAM
• знание оптимизаций Flash Attention и Paged Attention
• навыки работы с PyTorch, JAX, ONNX для универсального развертывания
• опыт отладки GPU memory и понимание CUDA (Intermediate C++/CUDA).

Будет плюсом:

• опыт развертывания моделей на multi-GPU
• практика профилирования VRAM usage в production-средах
• опыт работы с моделями 480B+ параметров на кластерах GPU
• знание специфических GPU scheduling инструментов (Volcano, Kueue).

Условия

• комфортный современный офис рядом с м. Кутузовский проспект, формат работы - гибрид (3 дня офис, 2 удаленно)
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.