Team Lead DevOps / DataOps (BigData)

Команда

Департамент платформы данных.

Текущий состав команды: 2 DataOps инженера (1 mid, 1sen) + Team Lead (вакансия).
В следующем году планируется увеличение команды DataOps инженеров до 4х.

В составе департамента платформы данных есть еще несколько команд:
— Data Engineer (команда загрузки данных и разработки витрин),
— MLOps (внедрение инструментов автоматизации ЖЦ ML моделей),
— SRE-инженеры (администрирование Hadoop + Greenplum).

Основными стейкхолдерами являются команды разработки, DS и аналитиков.

Стек Data и ML платформы

— Hadoop, Greenplum, Ceph S3.
— Airflow, Spark 3.2.1, Spark streaming, Kafka, SQL, Scala, Python.
— Озеро данных Delta Lake (табличный формат данных).
— CDC (Debezium).
— Мониторинг: Prometheus, Grafana, ELK.
— CI/CD: Bamboo, Bitbucket, Nexus.
— Источники данных: MS SQL, MySQL, Postgres, Oracle, Redis, GP.
— MLOps: Evedently AI, Internet ML, Feast, Jupyter, Git, DVC, MLFlow, ArgoCD, Label studio.

Чем предстоит заниматься

• Управление командой из 2 (в перспективе 4) DataOps-экспертов (распределение и постановка задач, контроль их исполнения участие в найме, развитие сотрудников).
• Разработка CI/CD пайплайнов, оптимизация Spark jobs для:
  — Scala сервисов (доставляются jar артефакты) / Python окружений,
  — DAGs (поддержка процессов).
• Интеграция автотестов в пайплайн.
• Администрирование Airflow (2-я линия поддержки).
• Контроль всех этапов жизненного цикла ETL/ELT приложения.
• Настройка и управление мониторингом и логированием ETL/ELT приложений.
• Оптимизация производительности ETL/ELT приложений.
• RnD новых инструментов и технологий Big data и ML\AI технологий.

Что ожидаем от тебя

• Опыт работы на позиции инженера (DataOps/ DevOps/ DE) от 3-4 лет.
• Опыт в роли Team Lead от года.
• Опыт администрирования Airflow.
• Опыт работы с экосистемой кластера Hadoop (на уровне начального администрирования).
• Опыт построения CI/CD spark jobs (Airflow).

Что готовы предложить

• Фиксированный оклад от 350к на руки + годовой бонус (10% от годового дохода) – обсуждается на этапе с рекрутером.
• Оформление по ТК РФ.
• Компания входит в реестр аккредитованных ИТ компаний.
• Удаленный формат работы. При желании можно работать в офисе класса А (г. Москва, ст. м. Павелецкая, Шлюзовая набережная, 4).
• График работы 5/2, с 9 до 18 по Московскому времени.
• ДМС со стоматологией (с 1 рабочего дня + полис путешественника).
• Частичная компенсация фитнеса / личного обучения (лимит - 25 тыс. рублей в год).
• Дополнительные дни к ежегодному отпуску (всего 31 день в году).
• Современное оборудование (Lenovo ThinkPad на Windows).

Как мы проводим собеседования

1. 15-20 минут - общение с рекрутером (в аудио-формате).
2. 60 минут - техническое интервью (google meet, видео встреча).
3. 60 минут - интервью с руководителем направления разработки хранилищ данных (google meet, видео встреча).
4. Проверка документов 1-2 дня (анкета в электронном виде).
5. Оффер, обсуждение даты выхода на работу.

Мы стараемся как можно быстрее принимать решения.