Lead ML Engineer (LLM / Agents)

Компания "DCS"

Кто мы

EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.
Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов.
Работаем с крупным российским и международным бизнесом.
От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов.

Коротко о роли:

Ищем Lead LLM Engineer, который будет поровну:

• строить продакшен-системы на базе LLM (агенты, ассистенты, RAG, tool-use, evaluation, observability),
• руководить командой инженеров (планирование, техлидство, качество, найм/менторинг).

Роль предполагает владение архитектурой end-to-end: от постановки задачи и дизайна решений до вывода в прод, поддержки и развития.

Задачи:

50% Hands-on

• Проектирование и разработка агентских систем: orchestration, multi-agent, planning/execution loops, memory, tool calling.
• Построение ассистентов: диалоги, контекст, персонализация, безопасность, обработка ошибок и деградаций.
• Реализация RAG: ingest pipelines, chunking, embeddings, hybrid search, reranking, цитирование источников, защита от hallucinations.
• Интеграция с инструментами/сервисами: внутренние API, БД, очереди, файловые хранилища, CRM/ERP и т.д.
• Evals & качество: тест-наборы, golden datasets, автоматические проверки, A/B, regression, red-teaming.
• Наблюдаемость: трассировки, метрики, логирование, cost/latency оптимизация, rate limits.
• Участие в выборе моделей, fine-tuning/LoRA/PEFT при необходимости, prompt/system design.

50% Управление и техлидство:

• Руководство командой инженеров (ML/Backend/Platform): цели, roadmap, декомпозиция, приоритизация, delivery.
• Построение инженерных практик: code review, CI/CD, quality gates, incident management, SDLC.
• Менторинг: рост инженеров, найм, адаптация, performance feedback.
• Коммуникации со стейкхолдерами: формирование требований, критериев успеха, SLA/SLO.

Требования:

Опыт разработки LLM-продуктов в продакшене: ассистенты/агенты/RAG/tool-use.

• Сильный software engineering бэкграунд: архитектура сервисов, API, интеграции, отказоустойчивость.
• Опыт people lead (минимум 3–5 человек) или устойчивый опыт техлидства с ответственностью за поставку.
• Практики качества: тестирование, evals, мониторинг, работа с инцидентами.
• Умение переводить бизнес-задачу в техрешение и метрики результата.

Технологический стек:

LLM / Agents / Assistants

• Agent frameworks: LangGraph / LangChain, LlamaIndex, Semantic Kernel (или аналоги)
• Tool calling, function routing, planners/executors, multi-agent patterns
• Prompt/system design, structured outputs (JSON schema, constrained decoding), guardrails

RAG / Search:

• Vector DB: pgvector / Postgres, Pinecone / Weaviate / Milvus / Qdrant
• Search: Elasticsearch / OpenSearch, hybrid search, rerankers (cross-encoders)
• Pipelines: ingestion, chunking, metadata, dedup, doc lifecycle

Backend / Data / Infra:

• Python (FastAPI), возможно TypeScript/Node.js
• Async/queues: Kafka / RabbitMQ / Redis Streams, background workers (Celery/RQ)
• Storage: Postgres, Redis, S3-совместимые хранилища
• Containerization: Docker, orchestration: Kubernetes
• CI/CD: GitHub Actions/GitLab CI, IaC (Terraform — плюс)

Observability / Evals:

• Tracing: OpenTelemetry
• Monitoring: Prometheus/Grafana
• LLM observability: Langfuse / Phoenix / Arize (или аналоги)
• Evals: RAG eval, LLM-as-a-judge, human feedback loops, safety testing

MLOps / Model ops (по необходимости)

• Fine-tuning: PEFT/LoRA, vLLM/TGI, model serving
• Cost/latency optimization: caching, batching, token budgets

Будет плюсом:

• Опыт построения “enterprise” ассистентов: роли/права, аудит, DLP, PII masking, безопасность.
• Опыт on-prem / air-gapped контуров.
• Опыт создания внутренних платформ для команд (SDK, templates, best practices).
• Опыт работы с многоязычными сценариями (RU/EN), длинным контекстом, сложными документами.

Мы предлагаем:

• Полностью удалённый формат работы.

• Участие в ML- проектах федерального уровня.

• Работа в сильной команде экспертов, где ценится открытость, качество и развитие.