Data Engineer senior( СКИФ-Проект )

Компания "СКИФ-Проект"

ITSpace — международная сервисная компания. Мы успешно помогаем бизнесу и талантам встретиться.

Главная ценность нашей компании - это люди, которые в ней работают. Поэтому мы стремимся, чтобы работа у нас была максимально комфортной, а сотрудничество долгим и продуктивным.

В ведущую российскую IT-компанию, специализирующуюся на разработке решений для оптимизации ключевых бизнес-процессов крупного бизнеса требуется data engineer.

Задачи:

• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow).
• Разработка коннекторов к системам-источникам данных и системам-потребителям.
• Организация потоков данных в рамках микросервисной архитектуры платформы.
• Разработка схемы данных компонентов платформы в едином информационном поле.
• Работа c различными системами хранения (Clickhouse, PostgreSQL, Redis);
• Разработка пайплайнов с Kafka.
• Написание генераторов тестовых данных.

Знания и умения:

• Экспертный уровень знания python на уровне upper senior.
• Опыт работы с Apache Spark от 2 лет.
• Понимание под «капотом» как работает Spark.
• Опыт работы от 3 лет Postgres (наличие опыта с оптимизационными и инфраструктурами проблемами).
• Опыт работы от 2 лет Clickhouse (наличие опыта с оптимизационными и инфраструктурами проблемами,понимание внутреннего устройства clickhouse -как работает, как реплицирует,какие есть основные движки и прочее.
• Опыт работы как пользователь с k8s 1-2 года.
• Отличные софт скиллы.
• Опыт работы с легаси кодом.
• Понимание процессов ci/cd.
• Опыт с pytest (желательно иметь в копилке TDD опыт).
• Опыт работы с cloud инфраструктурой (Yandex,aws и тд) от 3 лет.

Условия:

• ​​​​​Работа в аккредитованной IT компании.
• Сумма обговаривается с кандидатом индивидуально
• Удаленный формат работы.
• Длительный проект, полное погружение в продуктовую разработку.
• Стабильность, компания устойчива ко всем изменениям на рынке.
• Возможность оформления в штат ТК РФ, ИП.
• Ежегодный пересмотр заработной платы, в зависимости от результатов работы.
• Профессиональное развитие, обучение за счет компании.
• По согласованию за счет компании: ДМС, предоставление оборудования, фитнес, психологическая помощь.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя