Senior Distributed Learning Engineer (Kandinsky)
27 Ноября 2025
Город:
Москва
Занятость:
Полная занятость
Опыт:
Нет опыта
Компания "Сбербанк"
Мы разрабатываем мультимодальные диффузионные трансформеры (Text2Image, Text2Video, Text2Video+Audio, Instruct Editing), масштабируемые до десятков миллиардов параметров. Задача — создание инфраструктуры для эффективного обучения и оценки таких моделей на крупных GPU-кластерах.
Задачи:
- разработка и оптимизация high-load пайплайнов распределенного обучения (PyTorch) с использованием FSDP, Tensor/Sequence Parallelism
- создание мультимодальных подгрузчиков данных
- создание системы метрического мониторинга параметров кластера, внутренних состояний модели и качества генерируемых сэмплов во время обучения
- оптимизация коммуникации (NCCL), управление памятью и загрузкой каналов связи с хранилищем для максимизации утилизации кластера
- проектирование отказоустойчивых checkpointing/resume механизмов для долгих экспериментов
Требования:
- экспертный уровень Python, PyTorch, torch.distributed
- глубокий опыт масштабного (1k+ GPU) обучения моделей с FSDP/TP/PP
- Понимание нюансов mixed-precision training (bf16, fp8)
- опыт отладки, профилирования и оптимизации распределенного кода (GDB, PyTorch Profiler)
- бонус: Опыт с CUDA kernel optimization, компиляторами (TorchDynamo, Triton, ThunderKittens)
- навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
Условия:
- крупнейшее DS&AI community — более 600 DS-специалистов банка
- дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
- возможность быть соавтором НИРов и статей для международных конференций
- возможность выбрать удобный формат работы: гибрид или офис
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- ипотека выгоднее до 7% для каждого сотрудника
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
07 Ноября
Senior Key Account Manager/SKAM
Москва
Компания "Antal Russia" Крупная иностранная FMCG в поисках Senior Key Account Manager, который обеспечить рост доходности и устойчивость...
07 Ноября
Москва
Компания "Сбербанк" В поиске исследователей в проект Kandinsky. Мы разрабатываем и внедряем передовые методы сжатия медиа-данных, в основном, на...
07 Ноября
Senior LLM Researcher (Центр практического искусственного интеллекта)( Сбербанк )
Москва
Компания "Сбербанк" Центр практического ИИ - особое подразделение Сбера, нацеленное на сложные AI проекты и создание новых технологий. В...
07 Ноября
DS/LLM Engineer (Центр практического ИИ)
Москва
Компания "Сбербанк" Центр практического искусственного интеллекта занимается разработкой и внедрением высокотехнологичных AI-инструментов....
07 Ноября
Senior Data Scientist (Центр портфельного риск-моделирования)
Москва
Компания "Сбербанк" В Центр портфельного риск-моделирования (Блока Риски) ищем коллегу на роль Senior DS в направлении разработки LGD моделей....
Вакансия размещена в отрасли