Team Lead Data Engineer

19 Февраля

Партнерские Вакансии

Компания "ITFB Group"

Требования

Технические навыки (обязательные):

- Понимание принципов функционирования распределенных систем/вычислений

- Понимание основ проектирования эффективных приложений для СУБД и подходов к оптимизации

- Опыт разработки PySpark и оптимизации Spark-приложений

- Опыт разработки на Python

- Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной.

- Опыт работы с Airflow

- Опыт работы с git

- Уверенный пользователь Linux (типовые команды и утилиты)

Технические навыки (желательные):

- Опыт работы с Trino/Hive/Hadoop

- Опыт работы с табличными форматами (предпочтительно Iceberg, или DeltaLake/Hudi)

- Опыт работы с Docker и Kubernetes

- Опыт разработки на Java (или понимание основ JVM)

- Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные)

Технические задачи:

- Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow

- Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода

- Оптимизация разработанных решений

Организационные и лидерские задачи:

- Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов)

- Декомпозиция высокоуровневых задач и делегирование разработчикам

- Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания)

- Проведение технических демо разработанного функционала заказчику

Условия

Оформление в штат компании по Трудовому договору

Соблюдение ТК РФ

График работы - гибрид (2 -3 дня в офисе - все зависит от проектной загрузки)