Data Engineer в команду CDP( 2ГИС )

Компания "2ГИС"

О команде

• Backend: Go, gRPC
• Frontend: TypeScript, React
• Autotests: Python, Playwright, Allure
• Infrastructure: Kubernetes, Kafka, ClickHouse, Spilo/PostreSQL, Spark, Airflow

Тебе предстоит

• Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
• Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
• Решать сложные инженерные задачи: расчеты метрик, построение витрин.
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
• Влиять на архитектурные решения и качество кода.
• Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Ждем от тебя

• Опыт работы с highload-системами.
• Опыт проектирования архитектуры данных или платформенного кода.
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
• Хорошо понимает, как работает Spark и умеет его готовить.
• Хорошо владеешь одним из языков программирования (например, Python или Scala).
• Самостоятельность и проактивность – ты не ждешь постановок, а предлагаешь решения.
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.

• Опыт работы с Airflow.
• Опыт анализа данных с использованием SQL.
• Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts).
• Опыт построения Data Lineage и работы с Data Catalog.
• Понимание подходов к персонализации, сегментации или real-time аналитике.
• Понимание, как работает S3 хранилище.

• Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций.
• Рост: CDP – стратегическое направление, растем быстро и даем расти команде.
• Свобода: минимум бюрократии, максимум ответственности.
• Видимый результат: все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС.