AI-разработчик (Разработчик систем искусственного интеллекта)

Компания "Корпорация Туризм.РФ"

Цель позиции: Разработка, внедрение и поддержка корпоративной ИИ-платформы на базе современных open-source инструментов для создания интеллектуальных агентов и обработки корпоративных данных.

Обязанности:

Разработка и поддержка ИИ-платформы:

• Проектирование, разработка и поддержка бекенд-сервисов платформы на базе Python и выбранных технологий (Ollama, FastAPI/Flask/Django, PgVector).

• Разработка и интеграция фронтенд-интерфейсов для взаимодействия с платформой.

• Интеграция и настройка ключевых компонентов платформы: Ollama (работа с локальными LLM), Langflow (визуальное создание цепочек/агентов), n8n (оркестрация рабочих процессов, интеграции), PgVector (векторные базы данных), S3 (хранение моделей, данных, документов).

• Обеспечение отказоустойчивости, масштабируемости и производительности платформы, особенно при работе с GPU-интенсивными LLM.

Разработка и оптимизация пайплайнов обработки данных:

• Создание и совершенствование ETL/ELT пайплайнов для обработки структурированных и неструктурированных данных (текст, документы).

• Реализация и оптимизация векторного поиска и семантической категоризации данных с использованием PgVector и техник Embedding.

• Интеграция и настройка OCR (Optical Character Recognition) и ASR (Automatic Speech Recognition) сервисов для извлечения текста из изображений, PDF и аудио/видео контента.

Разработка и автоматизация ИИ-агентов и RAG-систем:

• Проектирование, разработка и внедрение интеллектуальных агентов для решения бизнес-задач (управление проектами, анализ рисков, поддержка принятия решений) с использованием Langchain, LlamaIndex или аналогичных фреймворков.

• Реализация и оптимизация RAG (Retrieval-Augmented Generation) систем для обеспечения агентов и чат-интерфейсов релевантной контекстной информацией из корпоративных источников.

• Автоматизация рабочих процессов агентов и интеграция их с другими системами.

Интеграция и безопасность:

• Интеграция платформы с корпоративными системами: LDAP/Active Directory (аутентификация/авторизация), базы данных, системы документооборота (1С).

• Разработка и поддержка безопасных API (REST, gRPC) для взаимодействия с платформой и ее компонентами.

• Обеспечение соответствия платформы корпоративным стандартам безопасности (RBAC, шифрование данных, аудит).

Работа с данными и инфраструктурой:

• Проектирование, разработка и оптимизация баз данных (PostgreSQL с PgVector, возможно другие) для эффективного хранения и поиска: чатов, пользовательских данных, векторных эмбеддингов, документации, метаданных.

• Контейнеризация сервисов платформы с использованием Docker.

• Участие в развертывании и управлении платформой в Kubernetes-кластерах.

• Настройка и оптимизация использования GPU-серверов для работы с локальными LLM (Ollama).

Мониторинг и эксплуатация:

• Внедрение и настройка систем мониторинга (Prometheus, Grafana) и логирования (ELK stack, Loki) для отслеживания состояния, производительности и использования платформы.

• Оперативное выявление, диагностика и устранение сбоев и узких мест производительности.

• Обеспечение резервного копирования и восстановления критических данных платформы.

Разработка дополнительных AI-модулей:

• Исследование, прототипирование и внедрение новых AI-возможностей в платформу, таких как расширенные решения для Voice-to-Text (ASR), Text-to-Speech (TTS), анализа тональности, извлечения сущностей и др.

Требования (Основные):

Опыт и знания:

• Практический опыт полного цикла разработки и внедрения промышленных ИИ-решений или платформ.

• Глубокое знание Python и его экосистемы для AI/ML (NumPy, Pandas, PyTorch/TensorFlow).

• Опыт работы с современными backend-фреймворками (FastAPI, Flask, Django, Node.js).

• Опыт интеграции или разработки фронтенд-интерфейсов (React.js, понимание принципов работы SPA) и взаимодействия с бекендом.

• Практический опыт работы с векторными базами данных, обязательно PgVector (или аналоги: FAISS, ChromaDB, Milvus, Weaviate).

• Опыт разработки и интеграции API (REST, gRPC).

• Навыки работы с реляционными (PostgreSQL) и NoSQL (MongoDB, Redis) БД.

Инфраструктура и DevOps:

• Опыт работы с Docker и контейнеризацией приложений.

• Опыт работы с Kubernetes (развертывание, управление подами/сервисами)

• Опыт настройки, развертывания и оптимизации серверов с GPU для запуска LLM.

AI/ML Специализация:

• Практический опыт реализации RAG (Retrieval-Augmented Generation) систем.

• Понимание архитектур и принципов работы современных LLM.

• Опыт работы с фреймворками для построения LLM-пайплайнов и агентов (Langchain, LlamaIndex, Haystack и др.).

• Знание принципов обработки естественного языка (NLP).

Системное проектирование и эксплуатация:

• Знание принципов построения высоконагруженных, масштабируемых и отказоустойчивых распределенных систем.

• Опыт интеграции с корпоративными системами (LDAP/AD, базы данных, REST/SOAP API).

• Опыт разработки с учетом требований безопасности (аутентификация, авторизация, шифрование).

• Опыт настройки и использования систем мониторинга (Prometheus, Grafana) и логирования (ELK stack - Elasticsearch, Logstash, Kibana; или Loki/Promtail/Grafana).

Требования (Дополнительные / Желательные):

1. Опыт работы с технологиями и фремворками типа Ollama, OpenWebUI, Langflow, n8n.

2. Опыт fine-tuning языковых моделей под специфические задачи.

3. Опыт проектирования и разработки микросервисных архитектур и масштабируемых API-шлюзов.

4. Навыки DevOps: построение CI/CD пайплайнов (GitLab CI/CD, Jenkins, GitHub Actions), управление инфраструктурой как код (Terraform, Ansible) – как плюс.

5. Опыт работы с системами очередей сообщений (Kafka, RabbitMQ, Redis Streams) – как плюс.

6. Опыт работы с графовыми базами данных (Neo4j) – как плюс.

7. Опыт работы с библиотеками/сервисами OCR (Tesseract, PaddleOCR, AWS Textract) и ASR (Whisper).

8. Понимание MLOps практик.