Senior MLOps\AI Platform Engineer

Компания "ГНИВЦ"

it-компания gnivc- партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh среди крупных компаний;
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job;
• У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата;
• Являемся аккредитованной ИТ-компанией.

Ищем инженера с практическим опытом, который будет заниматься разработкой и эксплуатацией платформы инференса LLM в промышленной эксплуатации. Роль предполагает активную работу с инфраструктурой, GPU-нагрузкой, API-слоем и оптимизацией производительности моделей.

Основной фокус — стабильный и эффективный инференс, интеграция моделей в сервисы и развитие платформы ИИ в on-prem / изолированном контуре.

задачи:

• Разворачивать и поддерживать сервисы инференса моделей (vLLM, llama.cpp, Triton и др.);

• Настраивать и оптимизировать инференс LLM (пропускная способность, задержки, батчинг, KV-cache);

• Работать с GPU-инфраструктурой (распределение, загрузка, диагностика, профилирование);

• Разворачивать и сопровождать сервисы ИИ в Kubernetes (Helm, Stateful workloads, автомасштабирование);

• Строить API-слой для моделей (OpenAI-совместимый API, потоковые ответы, маршрутизация);

• Интегрировать модели в корпоративные системы через REST/gRPC;

• Участвовать в построении RAG-систем (эмбеддинги, поиск, векторные базы данных);

• Настраивать мониторинг (метрики, логи, трассировки, алерты);

• Диагностировать и устранять проблемы в промышленной эксплуатации (узкие места, деградации, OOM, проблемы GPU);

• Оптимизировать использование ресурсов (GPU/CPU/хранилище/сеть);

• Работать с CI/CD пайплайнами для деплоя моделей и сервисов;

• Плотно взаимодействовать с командой информационной безопасности;

• Обеспечивать соблюдение требований и практик информационной безопасности при разработке и эксплуатации систем ИИ;

• Разрабатывать и поддерживать документацию;

• Взаимодействовать с командами Data Science, Backend и Platform Engineering.

мы от вас ждём:

• 4+ года опыта в MLOps / DevOps / инфраструктурной разработке;
• Практический опыт работы с Kubernetes;
• Опыт работы с GPU (NVIDIA stack, nvidia-smi, CUDA);
• Опыт запуска и эксплуатации ML/LLM моделей в промышленной эксплуатации;
• Уверенное владение Python;
• Понимание принципов работы инференса LLM (токены, контекст, задержки, батчинг);
• Опыт работы с Linux на уровне диагностики и отладки;
• Понимание сетевого взаимодействия (HTTP, TLS, прокси, балансировка);
• Опыт работы с CI/CD;
• Понимание и соблюдение базовых принципов и «гигиены» информационной безопасности;
• Умение разбираться в логах и находить первопричины проблем.

Будем плюсом:

• Опыт с vLLM / GPUStack / Triton / TensorRT-LLM;
• Опыт работы с LiteLLM или аналогичными прокси/шлюзами;
• Опыт построения RAG-систем (векторные БД, эмбеддинги);
• Опыт работы с Milvus / Qdrant / pgvector;
• Опыт оптимизации инференса (квантизация, параллелизм, шардинг);
• Опыт работы с высоконагруженными системами;
• Опыт работы в изолированных (air-gapped) средах;
• Опыт настройки Prometheus / Grafana для ML-сервисов;
• Понимание требований регуляторов (152-ФЗ, ГОСТ).

Стек:

• Инфраструктура: Kubernetes, Docker, Helm;
• Инференс: vLLM, llama.cpp, Triton, HuggingFace;
• API / шлюзы: OpenAI-совместимый API, LiteLLM, Envoy / Nginx
• RAG / данные: векторные БД (Milvus, Qdrant, pgvector), Kafka, S3/MinIO;
• Мониторинг: Prometheus, Grafana, ELK;
• CI/CD: GitLab CI/CD, Jenkins, ArgoCD;
• Инфраструктура как код: Terraform, Ansible;
• Языки: Python (обязательно), Bash, SQL.

мы предлагаем:

• Возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ;
• Рабочий график: пятидневная рабочая неделя (Пн. – Чт. с 09:00 до 18:00, Пт. с 09:00 до 16:45);
• Достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты;
• Официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц;
• Заботу о здоровье:

Компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню.

Добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию.

Возмещение до 50% затрат на занятия спортом.

• Развитие и обучение:

Профессиональное обучение и сертификация за счет компании.

Организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов.

Партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox.

Доступ к корпоративной библиотеке на платформе Alpina Digital.

• Дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев.