Программист Python

17 Сентября

Партнерские Вакансии

Компания "ИК СИБИНТЕК"

Команда инженеров ищет специалистов для разработки верхнеуровневой self-ETL системы.

Чем предстоит заниматься:

• Участие в разработке фреймворков для генерации и регламентации EL/ETL процессов на базе Airflow, ClickHouse и SQLmesh
• Интеграция фреймворков с компонентами платформы
• Разработка коннекторов к источникам данных
• Разработка интерфейсов создания и управления процессами

Требования:

• Уверенное владение SQL: базовый синтаксис, транзакции, представления, хранимые процедуры
• Владение Python 3: multithreading и multiprocessing, модули pandas, pyodbc/sqlalchemy, boto3, paramiko, requests
• Опыт работы с оркестраторами процессов: Airflow, NiFi, Jenkins
• Опыт интеграции с различными источниками данных: SQL/NoSQL СУБД, API, файловые системы
• Базовые навыки использования Linux
  
  Плюсом будет:
• Опыт работы с распределёнными хранилищами данных
• Опыт создания кастомных операторов Airflow
• Навыки асинхронного программирования
• Опыт контейнеризации процессов
  
  Технологический стек:
• Собственная SaaS-платформа
• Хранилища данных: ClickHouse, Amazon S3
• Оркестрация процессов: Apache Airflow
• Контейнеризация: Docker
• Среда исполнения: Kubernetes
• Трансформация данных: SQLmesh

Условия:

• Оформление в штат в соответствии с ТК РФ
• Конкурентоспособная заработная плата (обсуждается по результатам собеседования)
• Возможность расти как вертикально, так и повышать уровень своих профессиональных и деловых компетенций
• Внутреннее обучение: конференции, тренинги, мастер-классы, корпоративный университет. Внешнее обучение по направлению профессиональной деятельности
• Корпоративная электронная библиотека
• Формат работы: гибрид/удалёнка