Senior ML Engineer (Домен ИИ)

Иннотехнум, Группа компаний

Город:

Москва

Занятость:

Полная занятость

Компания "Иннотехнум, Группа компаний"

Чем предстоит заниматься:

Разработка и поддержка ETL‑pipeline;
Создание, обучение и оценка моделей AutoML;
Внедрение новых алгоритмов ML и их тестирование;
Оптимизация признаков: построение кастомных трансформеров, RFE, PCA, feature‑selection;
Упаковка моделей в MLEAP‑bundle и их публикация;
Реализация и поддержка сервисов инференса с REST‑API и SSE;
Интеграция с Kafka/Redis, обеспечение надёжной доставки сообщений и статусов;
Настройка CI/CD пайплайнов, автоматическое тестирование и деплой в Kubernetes;
Мониторинг производительности, сбор метрик, настройка алертов;
Участие в архитектурных обсуждениях, оценка рисков и предложений по улучшению платформы.

Какие знания и навыки для нас важны:

Программирование на Scala 2.12/2.13 (опыт разработки Spark‑приложений) и Python (моделирование в Jupyter);
Глубокие знания Apache Spark 3.x;
Опыт построения и эксплуатации ML моделей (ETL → обучение → инференс);
Знание основных алгоритмов машинного обучения;
Понимание работы Kafka, Redis Streams и SSE;
Навыки контейнеризации (Docker) и оркестрации (Kubernetes, Helm);
Базовые навыки работы с MinIO/S3, Hive, SFTP;
Умение работать с системами контроля версий (Git) и вести техническую документацию (Swagger/OpenAPI);
Опыт проектирования, разработки и поддержки полного ML‑pipeline в распределённой среде;
Опыт выбора и внедрения новых моделей и алгоритмов (XGBoost, CatBoost, кастомные трансформеры и т.п.);
Опыт оптимизации точности моделей: гиперпараметрический поиск, кросс‑валидация, балансировка классов;
Опыт разработки и интеграции сложных feature‑engineering‑трансформеров, RFE, PCA, target‑encoding;
Опыт упаковки моделей в MLEAP‑bundle, их деплой в MinIO и обслуживания сервисов инференса;
Опыт мониторинга и отладки Spark‑jobs, Kafka‑потоков, метрик моделей в продакшн;
Навыки обеспечения безопасности данных (TLS/mTLS, подпись/верификация);
Умение принимать архитектурные решения по увеличению точности, производительности, масштабированию и повышению отказоустойчивости;
Оконченное высшее образование;