Data Engineer (PostgreSQL, ClickHouse, Trino)

Компания "Филиал The Visa Services в г. Москва"

thevisa.com — продукт о визах и путешествиях. У нас есть сайты, интеграции с партнёрами и CRM, поэтому данных много и они приходят со всех сторон.
Нам нужен Data Engineer, который приручит эти данные и обезвредит «кучу API», Airbyte, ClickHouse и Trino так, чтобы бизнес видел цифры, а не звёздочки в глазах.

Чем предстоит заниматься

- Проектировать и развивать хранилище данных: PostgreSQL (операционные/ODS данные) + ClickHouse (аналитика, витрины, отчёты).

- Настраивать и стабилизировать загрузки из «кучи API» (включая Bitrix24 CRM, партнёрские и продуктовые сервисы): ELT/ETL, инкремент, дедупликации, SLA на пайплайны.

- Приручить Airbyte: довести до продакшн-состояния (стабильность, ретраи, алерты) и/или написать кастомные коннекторы; сравнить с альтернативами и предложить план миграции при необходимости.

- Развернуть и обкатать Trino как единый слой запросов (federated SQL), настроить каталоги, безопасность, ресурсные группы.

- Оптимизировать ClickHouse: партиционирование, первичные/скученные ключи, TTL, материализованные представления, агрегирующие таблицы, компрессия.

- Спроектировать модель данных (слои raw → staging → marts), договориться о схемах именования, версионировании и SLA/SLI по данным.

- Настроить мониторинг и качество данных: алерты, проверки полноты/свежести, DQ‑тесты, техдолг-борд.

- Совместно с аналитиками и продуктом выпускать надёжные витрины/дашборды и отчёты.

Требования

- 3+ года опыта в Data Engineering или близких ролях.

- Сильный SQL: сложные запросы, оконные функции, оптимизация планов.

- Опыт продакшн‑эксплуатации ClickHouse: партиционирование, TTL, MV, агрегирующие таблицы, профайлинг запросов.

- Уверенный PostgreSQL: индексы, планировщик, репликация/бэкапы на уровне понимания, CDC как плюс.

- Реальная интеграция с «живыми» API: инкрементальные выгрузки, лимиты/квоты, ретраи, идемпотентность.

- Trino/Presto: базовая админка и тюнинг (или быстрый апскилл под менторством, если остальное закрываете сильно).

- Python для коннекторов/утилит и работы с API.

Будет плюсом

- dbt (моделирование и тесты), Airflow/Prefect/Orchest как оркестратор.

- Уверенное пользование linux, ssh, bash

- Kafka/Debezium/CDC‑подходы, очереди и событийная архитектура.

- Опыт с Bitrix24 API и/или CRM‑системами.

- Опыт выбора и миграции между Airbyte/Meltano/Fivetran/Hevo и т.п.

- Облака (Yandex Cloud/AWS/GCP), Terraform/Ansible, мониторинг (Prometheus/Grafana).

Формат работы и условия

- Формат работы - удаленный

- График: гибкий, синхронизации по договорённости.

- Конкурентная заработная плата

- Крутая команда

Почему это интересно

- Сильно повлияете на архитектуру данных: решения коротким путём, минимум бюрократии.

- Реальные, «не книжные» задачи: нестабильные источники, рост трафика, меняющиеся API.

- Можно и нужно спорить с Airbyte — а если не выйдет, смело выбирать замену.