Middle/Senior Data Engineer

Компания "КОРУС Консалтинг"

Наш Департамент аналитических решений (ДАР) погружен во все современные направления работы с данными: BI-системы и системы аналитической отчетности; хранилища и витрины данных; продвинутая аналитика и Big Data; прикладные продукты с использованием Machine Learning; управление данными (Data Governance, Data Quality); разработка методологии и стратегии работы с данными.

Что важно знать о нашей команде:

• 8 лет на рынке, команда: 300+ человек
• Основной стек технологий: Luxms BI, Fine BI, Pix, Visiology, SuperSet, Qlik, Microsoft, Hadoop, PostgreSQL, GreenPlum, Arenadata, Informatica,Teradata, Oracle и др.
• Наши заказчики: 100+ («Лента», «РЖД, «Газпром нефть», «Загорский трубный завод», «Самокат», ВТБ, Газпромбанк, Leroy Merlin, Danone, DPD, Melon Fashion Group, Pernod Ricard, Maxxium, Takeda, Efes Rus, и др.)
• Количество реализованных проектов: 80+
• Выручка за FY23: 1+ МЛРД руб. (с опережением бизнес-плана на 1 год)
• Количество партнеров: 20+
• Офисы: СПб, МСК, Ярославль, Минск

О проекте: для иностранной ритейл компании мы разрабатываем облачные хранилища данных и аналитические решения на облачных платформах, помогаем нашему заказчику изменять бизнес-процессы путем использования аналитики. Сейчас мигрируем все проекты на Yandex.Cloud.

Наш текущий стек: Python, Spark, Hive, AirFlow как оркестратор, Yandex.Cloud. Ищем к себе в команду Middle/ Senior Data Engineer.

Основные задачи:

• Формировать потоки данных от источников до конечных витрин.
• Обработка потоковых данных на Spark Streaming.
• Формировать комплексные системы интеграции витрин данных Hadoop с использованием PySpark + AirFlow.
• Разрабатывать и оптимизировать ETL процессы.
• Миграция существующих витрин с DataBricks на Yandex.Cloud.

В работе поможет:

• Опыт разработки на Python от 2-х лет.
• Опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark Streaming, Spark SQL, Kafka, Hive и т.д.) от 2-х лет.
• Опыт работы с любым ETL инструментом от 2 года (Airflow в приоритете).
• Опыт написания запросов для анализа и преобразования данных (на любой реляционной СУБД).

Будет плюсом:

• Опыт работы с облачными платформами (Yandex.Cloud, MS Azure, AWS).

Что мы можем предложить:

• Заработная плата: состоит из оклада и бонуса за выполнение проекта. Знаем рынок, готовы обсуждать оклад индивидуально по итогам тех. собеседования. Оформляем официально в штат компании.
• Гибкое начало рабочего дня - не смотрим на отработанные часы, смотрим на результат.
• Удаленный формат работы или гибридный график по желанию (удаленка/офис в Москве, Санкт-Петербурге или Ярославле).
• Индивидуальный план развития: подбираем задачи для роста экспертизы, выделяем бюджет на обучение, предоставляем курсы и программы обучения (в т.ч. английскому языку), предоставляем обратную связь, регулярно обсуждаем развитие.
• Полис ДМС, корпоративные тарифы на фитнес и др.
• Открытая корпоративная культура: каждый может предложить идею и получить возможности для ее реализации, мы помогаем друг другу, часто и весело проводим корпоративы.
• Минимум бюрократии и отчётов, а совещания только по необходимости и с чёткой программой.

Приходи к нам в команду, будем вместе создавать крутые и полезные вещи!