QA Lead в команду AI-агентов (Python)

Компания "2ГИС"

Чем предстоит заниматься

• Выстроить с нуля систему тестирования и quality gates для AI‑агента и быть владельцем процессов качества в команде.
• Организовать тестирование на всём цикле разработки: тест требований, функциональное, интеграционное, E2E, регресс.
• Разрабатывать и поддерживать автотесты на Python для проверки сценариев работы AI‑агента (в т.ч. диалогов, памяти/контекста, вызовов инструментов и интеграций).
• Готовить тестовые сценарии и данные, поддерживать наборы для регулярных прогонов и контроля регрессий.
• Проводить нагрузочное/стресс‑тестирование и тестирование деградаций при сбоях внешних API (k6 или аналог).
• Встраивать проверки качества в CI/CD, обеспечивать стабильность и прозрачность прогонов (отчётность, причины флапающих тестов).
• Мониторить качество в продакшне: метрики, трейсинг, алертинг, разбор инцидентов качества и улучшение процесса по итогам.
• Использовать Copilot и внутренние AI‑инструменты для ускорения тестирования и автоматизации рутины.

Мы ожидаем

• Опыт работы в QA от 5-ти лет.
• Опыт построения процесса тестирования с нуля или существенной перестройки QA‑системы в продуктовой команде.
• Уверенная практика автотестов на Python (3+ лет) + понимание, где ручное тестирование действительно необходимо и почему.
• Опыт работы с CI/CD (встраивание тестов, гейтов, отчётности, стабилизация прогонов).
• Опыт нагрузочного тестирования (k6 или аналоги) и умение интерпретировать результаты.
• Сильные аналитические навыки: умение формулировать критерии качества, видеть системные риски и закрывать их процессом/инструментами.

Будет плюсом

• Понимание принципов работы LLM: токены, промпты, ограничения контекста.
• Знание архитектур AI‑агентов: ReAct / Tool Use / RAG / Multi‑Agent.
• Опыт с LangChain или аналогами.
• Понимание недетерминированности AI‑систем и способов контроля качества: evaluation‑подходы, стабильность, регрессии на датасетах, метрики.

Почему у нас хорошо

• Сильная QA‑вертикаль и возможность делать “правильно”, а не “как получится”.
• Аккредитованная IT‑компания, полностью белая зарплата.
• ДМС, корпоративное обучение.
• Удалённо или офис: Москва / Санкт‑Петербург / Новосибирск.
• Поддержка профессионального развития: конференции, тренинги, профильные публикации.