Data инженер

Компания "RedLab"

LITOTA GROUP - группа ИТ компаний, предоставляющая экспертизу для реализации самых амбициозных ИТ-проектов. Наше главное преимущество — команда высококвалифицированных специалистов, которых объединяет любовь к своему делу.

Мы обогащаем команды клиентов ценнейшим опытом экспертов, самостоятельно реализуем проекты и создаем ИТ-продукты, которые меняют рынки.

Наша репутация — это наши результаты:

???? 1 место — Аутстаффинг / B2B (микро/малый/средний бизнес), 2024

???? 3 место — Аутстаффинг / B2B (корпоративный сектор), 2024

300+ успешных проектов

92% постоянных клиентов

Наши клиенты: УБРиР, Vileda, Hyundai, Брусника, VK, Ростелеком, Еврохим, ГринМани, Doubletapp, НЛМК и другие лидеры рынка.

Мы разрабатываем продукты для ведущих российских банков и крупнейших корпораций. Присоединяйся к нам, чтобы работать на самых интересных и значимых проектах в IT-индустрии страны!

ЗАДАЧИ:

• Разработка ETL на Apache Spark (Java стек)
• Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse)
• Разработка витрин данных в Greenplum и ClickHouse
• Оркестрация ETL-процессов
• Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль)
• Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset

ОЖИДАНИЯ:

• Опыт работы с Apache Spark
• Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL)
• Опыт работы с Hadoop (HDFS, Hive)
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и
• обработки данных
• Опыт оптимизации ETL-пайплайнов и SQL кода
• Продвинутые знания SQL
• Понимание принципов работы распределенных систем
• Готовность осваивать Java для использования Spark

БУДЕТ ПЛЮСОМ:

• Опыт разработки на Java
• Опыт работы в проектах, связанных с миграцией данных или BI-платформ
• Опыт работы в банковской сфере, понимание бизнес домена
• Опыт работы в крупных проектах с высокими требованиями к надежности

МЫ ПРЕДЛАГАЕМ:

• Гибридный формат, комфортный офис в центре Москвы
• Комфортную рабочую атмосферу
• Формат договора обсуждается
• Прозрачная система оплаты
• Full-time занятость