Scala Big Data Developer/Engineer

Компания "ГНИВЦ"

it-компания gnivc- партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh среди крупных компаний;
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job;
• У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата;
• Являемся аккредитованной ИТ-компанией.

задачи:

• Разрабатывать и оптимизировать высоконагруженные Spark-приложения на языке Scala;

• Проводить рефакторинг и улучшать архитектуру существующего кода;

• Проектировать схемы хранения и модели данных;

• Писать тесты, участвовать в code review, влиять на качество продукта;

• Быстро анализировать инциденты и баги, собирать статистику по пайплайнам, выявлять узкие места и устранять их на всех этапах ETL;

• Консультировать младших коллег, делиться опытом и быть открытым к изучению нового, как в стеке Scala/Spark, так и во внутренних инструментах и подходах команды.

мы от вас ждём:

• Опыт коммерческой разработки на Scala;
• Уверенное владение Apache Spark (включая каталитический оптимизатор, управление джойнами, партициями и shuffle-процессами);
• Опыт работы с GraphFrame и Pregel;
• Знание cats-effect (понимание функциональных эффектов);
• Глубокое понимание внутреннего устройства Spark: планирование задач, кеширование, checkpoint'ы, memory management;
• Готовность погружаться в бизнес-логику и предметную область нам важно не просто выполнить ТЗ, а понять задачу, предложить оптимальное решение и улучшить продукт;
• Уверенное владение SQL, писать сложные запросы, оптимизировать их, работать с Hive и понимать, как Spark выполняет SQL-код под капотом.

Стек:

• Языки: Scala 2.13;
• Обработка данных: Apache Spark 3+ (Core, SQL, GraphFrames, GraphX, Pregel);
• Функциональные библиотеки: cats-effect (IO, Resource), Circe;
• Хранение: Hive, HDFS;
• Тестирование: ScalaTest, Mockito.

мы предлагаем:

• Возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ;
• Рабочий график: пятидневная рабочая неделя (Пн. – Чт. с 09:00 до 18:00, Пт. с 09:00 до 16:45);
• Достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты;
• Официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц;
• Заботу о здоровье:

Компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню.

Добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию.

Возмещение до 50% затрат на занятия спортом.

• Развитие и обучение:

Профессиональное обучение и сертификация за счет компании.

Организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов.

Партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox.

Доступ к корпоративной библиотеке на платформе Alpina Digital.

• Дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев.