LLM inference lead (MLOps)

Компания "HeadHunter"

Мы строим платформу LLM‑инференса, обслуживающую как внутренние, так и продакшен-сервисы. Наша миссия — обеспечить стабильный, масштабируемый и экономичный сервинг больших языковых моделей. Мы ищем инженера‑лидера, который возглавит развитие инфраструктуры, оптимизацию latency и throughput, а также внедрение передовых подходов к распределенному LLM‑инференсу.

Обязанности:

• ​​Возглавить разработку и оптимизацию инфраструктуры инференса LLM‑моделей, обеспечивая минимальную задержку и высокую пропускную способность для внутренних приложений и сервисов.
• Проектировать end‑to‑end пайплайны LLM‑инференса, включая шардирование моделей и потоковую генерацию токенов.
• Обеспечивать масштабируемость и надежность LLM‑serving инфраструктуры, выбор инструментов для инференса (vLLM, TensorRT‑LLM, Triton, DeepSpeed‑Inference).
• Разрабатывать и внедрять механизмы оптимизации стоимости и производительности GPU‑нагрузок
• Построить систему observability и мониторинга LLM‑инференса: латентность, token throughput, GPU utilization, промахи кэша KV‑storage и т.п.

Ключевые знания и навыки:

• Глубокая экспертиза в архитектуре и инференсе больших языковых моделей.
• Понимание устройства моделей (трансформеры, BERT, LLM и т.д.)
• Опыт построения высокопроизводительных LLM‑сервисов с использованием vLLM, TensorRT‑LLM/FasterTransformer/Triton Inference Server/etc.
• Знание методов оптимизации и ускорения LLM‑инференса: quantization (FP16, INT8, FP8), FlashAttention, paged attention, speculative decoding.
• Понимание нюансов распределенных систем и GPU‑коммуникации (NCCL, MPI, RDMA, InfiniBand).
• Опыт в управлении кластером для LLM‑нагрузок (Kubernetes, Ray, KServe, Kubeflow) в облаке или на своем железе.
• Уверенное владение Python
• Знание инструментов профилирования GPU (nvidia‑smi, Nsight, TensorRT Profiler).
• Опыт участия в архитектурном дизайне крупных AI‑платформ
• Опыт управления командой инженеров.
• Продвинутые навыки работы в Linux, CI/CD и системах оркестрации моделей.

Будет преимуществом:

• Опыт построения LLM‑сервисов с потоковой генерацией токенов (streaming inference).
• Знание особенностей служебных компонентов LLM‑пайплайна: токенизаторы, KV‑кэш, контекстное окно.
• Понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores) для глубокой оптимизации производительности.
• Участие в проектах по оптимизации инфраструктуры для LLM‑инференса на уровне платформы (multi‑tenant LLM serving, dynamic batching).
• Понимание принципов векторных баз данных (Milvus/Qdrant/FAISS/pgvector) для RAG‑решений и не только.

Что предлагаем мы:

• Возможность выбора формата работы: гибрид, удаленно или из офиса
• Гибкий график
• Корпоративный ДМС со стоматологией c первого месяца работы
• Активная корпоративная жизнь: регулярно проводим неформальные оффлайн-встречи, возможность командировок из других городов
• Хороший тренажерный зал в офисе и душ при нем, а также занятия йогой, настольный теннис и кикер
• Кофе в кофемашинах, чай, печенье, фрукты на кухне
• Электронная корпоративная библиотека
• Молодой, профессиональный и дружный коллектив
• Возможность профессионального развития, обучения за счет компании, участия в конференциях
• Достойный уровень заработной платы
• Совместную постановку целей и индивидуальный план развития