Стажер/Data Engineer в Скоринг [Big Data, МТС Веб Сервисы]

BIG DATA МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Скоринг - это коммерческий B2B продукт для уменьшения рисков и затрат B2B-клиентов. Скоринг состоит из 2-х направлений: рисковый и антифрод

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

• Разрабатывать ETL на Pyspark
• Оптимизировать запросы sql/spark
• Проводить оптимизацию и рефакторинг кода обработки данных
• Заниматься постановкой на регламент ETL процессов: расчет моделей, сборка витрин фичей
• Осуществлять внедрение контроля качества данных
• Научиться писать тесты на существующий и разрабатываемый функционал
• Выбирать оптимальную структуру хранения данных: оптимальной структуры, сжатия, секционирования и глубины
• Будет возможность научиться работать с Kafka, ClickHouse, CI\CD, Flink

ЧТО НУЖНО ДЛЯ ЭТОЙ РАБОТЫ

• Знание Python (стандартные библиотеки)
• Понимание хранилища HDFS (умение организовывать файлы нужного размера и сортировки, взаимодействие через cli)
• Умение писать аналитические SQL запросы
• Базовые знания Linux, git
• Желателен опыт работы с инструментами оркестрации процессов (мы используем Apache Airflow) и будет плюсом знание PySpark (умение оптимизировать и рефакторить код джобов, управлять ресурсами spark-сессии)

ЧТО МЫ ПРЕДЛАГАЕМ:

• Есть ли куратор? Да, наставник будет с тобой с самого начала;
• Какой график? Гибкий, начало работы в промежутке с 8 до 11, занятость 30 - 40 часов в неделю;
• Условия? Официальное оформление сроком от 6 до 9 месяцев с реальной возможностью остаться в штате - такие кейсы уже проходили и нам понравилось :)