AI/LLM Engineer в GenAI Evaluation

Компания "HeadHunter"

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого AI/LLM инженера, который поможет нам в выстроить в компании эффективную систему оценки качества GenAI фичей.

Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах — через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на модели, а как на инструмент влияния на продукт — мы будем рады видеть вас в нашей команде.

​Чем предстоит заниматься:

• Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development подхода;

• Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решеий - от QA запросов к LLM до сложных агентов с отдельным окружением;

• Разрабатывать внутренние бенчмарки по hr домену для оценки OSS LLM;

• Проектировать метрики качества, разрабатывать валидационные пайплайны;

• Настраивать observability для поддержания качества работы GenAI решений в проде;

• Организовывать человеческую разметку и разрабатывать LLM-as-Judge;

• Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI;

• Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAi решений.

Требования:

• Уверенное владение Python, и опыт разработки production-ready ML/GenAI-сервисов;

• Опыт построения и внедрения систем оценки качества ML / GenAI-решений: offline-метрики, regression testing, human evaluation, A/B или онлайн-валидация;

• Опыт проектирования валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость, сравнение моделей);

• Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.);

• Понимание особенностей оценки LLM- и agent-based систем в сравнении с классической разработкой и классическим ML;

• Опыт работы с LLM API и реализации LLM-based сервисов (диалоговые агенты, RAG, Agent workflows), понимание нюансов и трейдофов;

• Готовность быть драйвером внедрения best practices внутри компании;

• Знание LLM фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering);

• Опыт создания web-сервисов (FastAPI, asyncio), дизайна чистых и функциональных API и интеграции с бэкенд-сервисами;

• Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG‑решений и не только.

Будет плюсом:

• Знание Java;

• Понимание современных архитектур и методов обучения языковых моделей;

• Опыт обучения и инференса open-source LLM-моделей.

​​​​​Мы хотим, чтобы каждый сотрудник был доволен своей работой, поэтому мы предлагаем:

• Возможность выбора места работы: удаленно или из офиса;
• Гибкий график;
• Достойный уровень заработной платы;
• Корпоративное ДМС (со стоматологией) с первого месяца работы, страхование жизни;
• Корпоративный сервис с круглосуточной поддержкой юриста, психолога и финансового консультанта;
• Промокоды и бонусы от партнеров;
• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях;
• В офисе есть тренажеры, настольный теннис, кикер, пул, зона виртуальной реальности и массажные кресла;
• Доступ в канал mmemes с эксклюзивными мемами;
• Совместную постановку целей и индивидуальный план развития.