Data Engineer (Scala)
Город:
Москва
Занятость:
Полная занятость
Компания "Лига Цифровой Экономики"
Лига в поисках Разработчика на проект крупного российского банка (ТОП-3). Команда проекта занимается аналитикой данных контрагентов банка для расчета факторов кредитного риска.
Стек - Arenadata DB, Greenplum, Spark, Scala.
Твои задачи:
- Сделать приложение для построения витрин данных с использованием Apache Spark
- Оптимизировать и доработать существующие приложения на Apache Spark
- Взаимодействовать с заказчиками и аналитиками в ходе проектирования и реализации задач
- Разработать пайплайны загрузки данных в Airflow
Что мы ждем от тебя:
- Опыт разработки на языке Scala
- Создание и поддержка витрин данных хранилища (DWH), используя технологии Apache Spark
- Практический опыт работы хотя бы с одной из перечисленных баз данных: Oracle, PostgreSQL, IBM DB2, Arenadata DB, GreenPlum
- Понимание особенностей организации распределенных вычислительных процессов (желательно наличие опыта работы с Hadoop-кластерами)
- Владение инструментами экосистемы BigData, такими как Hadoop, Spark SQL, Airflow
- Глубокое понимание структуры данных, эффективных алгоритмов и запросов SQL
Будет плюсом:
- Знания Kafka
- Понимание подходов к организации разработки (CI/CD, DEVops)
- Возможность работы в удаленном формате
- Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
- Технику для комфортной работы
- Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
- Сообщества по интересам: Лига Спорта, Лига Интеллекта, Лига Шахмат, CyberЛига, ЛигаPerformance, Лига Добра, Лига Кошатников, а также возможность организовать свое сообщество и получить поддержку от компании
- Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды
09 Ноября
Красногорск
Компания "Велком" Велком: Производственная компания с современной IT-инфраструктурой и масштабными задачами цифровизации. Это не просто...
09 Ноября
Senior QA engineer (Java), ритейл
Москва
Компания "AWG" Мы в поиске QA engineer, на проект для крупного ритейлера. Проект направлен на создание отдельной подкоманды в периметре...
09 Ноября
Data Scientist (Middle+), HR Tech
Москва
Компания "AWG" Мы ищем Data Scientist в команду, которая создаёт передовые AI-решения для сотрудников в команде HR Tech. Продукты компании...
09 Ноября
Мытищи
Компания "АРТИ-М" В крупную торговую компанию, лидера на российском рынке оптовой продажи посуды и подарков, приглашается Data -аналитик (...
09 Ноября
ML-инженер / ML Engineer (с пониманием бэкенда)
Москва
Компания "ВкусВилл" Привет! ВкусВилл развивает внутренние ИИ-сервисы: поиск по базе знаний (RAG), умные ассистенты для сотрудников,...
Вакансия размещена в отрасли