Data Engineer (Scala)

Компания "Лига Цифровой Экономики"

Лига в поисках Разработчика на проект крупного российского банка (ТОП-3). Команда проекта занимается аналитикой данных контрагентов банка для расчета факторов кредитного риска.
Стек - Arenadata DB, Greenplum, Spark, Scala.

Твои задачи:

• Сделать приложение для построения витрин данных с использованием Apache Spark
• Оптимизировать и доработать существующие приложения на Apache Spark
• Взаимодействовать с заказчиками и аналитиками в ходе проектирования и реализации задач
• Разработать пайплайны загрузки данных в Airflow

Что мы ждем от тебя:

• Опыт разработки на языке Scala
• Создание и поддержка витрин данных хранилища (DWH), используя технологии Apache Spark
• Практический опыт работы хотя бы с одной из перечисленных баз данных: Oracle, PostgreSQL, IBM DB2, Arenadata DB, GreenPlum
• Понимание особенностей организации распределенных вычислительных процессов (желательно наличие опыта работы с Hadoop-кластерами)
• Владение инструментами экосистемы BigData, такими как Hadoop, Spark SQL, Airflow
• Глубокое понимание структуры данных, эффективных алгоритмов и запросов SQL

Будет плюсом:

• Знания Kafka
• Понимание подходов к организации разработки (CI/CD, DEVops)

Что мы предлагаем:

• Возможность работы в удаленном формате
• Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
• Технику для комфортной работы
• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Сообщества по интересам: Лига Спорта, Лига Интеллекта, Лига Шахмат, CyberЛига, ЛигаPerformance, Лига Добра, Лига Кошатников, а также возможность организовать свое сообщество и получить поддержку от компании
• Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды