Go / Python Backend Engineer / Distributed Systems Engineer (Temporal / Airflow)

Компания "Интеграция Дистрибуция Проекты"

Мы ищем инженера, который возглавит развитие и оптимизацию наших распределенных систем автоматизации и аналитики. Основной упор в работе делается на построение отказоустойчивых процессов с использованием Temporal и Apache Airflow. Нам ближе кандидаты с уверенным бэкграундом в Go или Python.

Что предстоит сделать в первую очередь:

• Задокументировать текущее решение на Temporal: погрузиться в кодовую базу, разобраться в архитектуре и самостоятельно описать текущие workflow и процессы.

• Предложить оптимизацию текущего флоу: на основе проведенного анализа выявить узкие места в текущей логике оркестрации и предложить архитектурные или кодовые улучшения. Эта задача станет главным показателем ваших hard skills на старте.

Чем предстоит заниматься (Обязанности):

• Проектировать и развивать отказоустойчивые workflow: проектирование распределенных бизнес-логик (Temporal) и аналитических пайплайнов (Airflow).

• Обеспечивать надежность процессов: оркестрация долгоживущих транзакций, обработка отказов, повторные попытки (retries) и управление состоянием систем.

• Настраивать и развивать Observability: внедрять сквозное логирование, мониторинг и распределенный трейсинг (distributed tracing) для полного контроля над исполнением workflow.

• Интегрировать микросервисы: связывать внутренние и внешние API, базы данных и очереди сообщений в единые автоматизированные цепочки.

• Масштабировать инфраструктуру: настраивать, мониторить и описывать требования к масштабированию кластеров Temporal и Airflow в Docker/Kubernetes.

• Оптимизировать производительность: профилировать код воркеров, анализировать метрики, оптимизировать DAG (в Airflow) и минимизировать задержки.

• Документировать архитектуру и процессы: создавать и поддерживать в актуальном состоянии техническую документацию (схемы архитектуры, описание DAG и workflow, runbooks для восстановления систем после сбоев).

Требования к кандидату (Hard skills):

• Глубокий опыт оркестрации: уверенное практическое знание Temporal (Workflows, Activities, Signals, Queries) или Apache Airflow (написание сложных идемпотентных DAG, Custom Operators).

• Языки программирования: уверенный уровень владения Go или Python.

• Опыт в Observability: практические навыки работы с инструментами мониторинга и трейсинга (Prometheus, Grafana, Jaeger, OpenTelemetry), умение настраивать алерты и собирать кастомные метрики производительности workflow.

• Понимание архитектуры: опыт проектирования распределенных систем, работы с очередями сообщений (Kafka, RabbitMQ) и паттернами отказоустойчивости.

• Инфраструктурный стек: опыт работы с Docker, Kubernetes и CI/CD пайплайнами.

• Работа с данными: уверенное знание SQL, опыт работы с реляционными СУБД (PostgreSQL, MySQL) под высокой нагрузкой.

Будет плюсом:

• Опыт миграции процессов с других оркестраторов (например, Camunda, Celery) на Temporal.

• Настройка продвинутого аудита и логирования (audit logs) для систем с жесткими требованиями к безопасности.

• Понимание концепций Data Engineering (Data Lake, DWH) и инструментов работы с данными (dbt, Spark).