Middle Data Engineer на продукт Net (Big Data)

Компания "МТС"

Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Команда центра Big Data в поиске Data Engineer на продукт Net

Продукт NET занимается поставкой данных из множества различных источников в контур Центра BigData и является одним из основных поставщиков данных и витрин для инфраструктурных и продуктовых команд. Мы специализируемся на данных, связанных с работой мобильной и широкополосной сети МТС, выполняем работы по сбору, обработке и хранению данных. Также наша команда занимается интерпретацией полученных данных, их анализом с целью создания полезных бизнесу сервисов, детальных витрин и агрегатов в различных областях, таких как гео-аналитика, информация об интернет-активности абонентов, информация по звонкам и смс.

Мы обрабатываем миллионы событий в секунду, хорошо понимаем устройство сети и уделяем много внимания качеству поставляемых данных.

Наши преимущества:

• опытные и отзывчивые коллеги, которые готовы ответить на любые вопросы
• возможность поработать с большими данными (порядка 20 млн событий в секунду на входе и 6 ПБ данных на кластере)
• сложный и большой проект, в котором можно многому научиться

Стек: Python, Scala, Airflow, Spark, Flink, Hadoop, HDFS

Обязательно:

• Знание одного из языков программирования: Python, Scala
• Знание стека Hadoop/Hive/Spark и опыт работы с большими объемами данных
• Хорошее знание SQL
• Опыт работы хотя бы с одной промышленной БД
• Навыки загрузки данных из неструктурированных источников (data exploration, data wrangling, data cleansing)

Что предстоит делать?

• Строить витрины из данных кластера (данные гео, звонки, смс, дата трафик)
• Загружать данные из Kafka в детальный слой HDFS
• Рассчитывать данные на стримах (Flink)

Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

• Локальные конференции, митапы
• Корпоративный университет МТС и масштабная виртуальная библиотека
• А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график?

Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?

Не более трех:

1. HR + первое тех. интервью с лидом направления
2. Тестовое задание/второе интервью - по необходимости
3. Собеседование с PO и командой, выбор кандидатом проекта