Разработчик Hadoop

Компания "ГНИВЦ"

IT-компания GNIVC - партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и 10 место в категории "IT-компании" 2024 года по рейтингу работодателей hh.ru среди крупных компаний;
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job;
• Являемся аккредитованной ИТ-компанией.

Задачи:

• разработка и мониторинг приложений в Hadoop;
• оптимизация производительности приложений и SQL-запросов (HiveQL);
• поддержка инфраструктуры Hadoop: создание и модификация таблиц, настройка партиционирования и конфигурирования Hive;
• написание автоматизированных тестов ETL-процессов на Groovy;
• проверка корректности загрузки данных, трансформаций и бизнес-логики;
• администрирование баз данных в ClickHouse: создание таблиц, репликация, шардирование, настройка производительности;
• оптимизация запросов и конвейеров данных в Spark (Scala), миграция Hive-запросов на Spark SQL/DataFrame API.

Требования:

• опыт мониторинга приложений в Hadoop;
• опыт работы с Hive;
• оптимизация и настройка задач Spark (использование Spark SQL, кеширование данных, оптимизация шардирования и объединений);
• умение работать с настройками Spark для распределенной обработки, включая выделение ресурсов и оптимизацию памяти;
• опыт работы с API и метаданными;
• навыки создания и тестирования ETL-процессов;
• уверенное знание SQL и опыт работы с реляционными базами данных;
• умение профилировать и оптимизировать код для повышения производительности в распределенных средах;
• навыки в оптимизации кластерных вычислений (управление ресурсами, распределение задач, настройка партицирования).

Будет преимуществом:

• знание языка Scala, включая функциональное программирование, обработка коллекций, работа с неизменяемыми структурами данных, оптимизация производительности и управление памятью, знание JVM и особенностей компиляции Scala;
• знание API Spark на Java.

Мы предлагаем:

• дистанционный формат работы на территории РФ;
• конкурентную заработную плату по результатам собеседования, премии за эффективную работу и результат;
• пятидневную рабочую неделю (пн-чт с 09-00 до 18-00, пт с 09-00 до 16-45);
• ДМС по окончании испытательного срока, с огромным перечнем лучших медучреждений и включая классную стоматологию;
• доплату к отпуску 50% от оклада через 11 месяцев работы в компании;
• больничный лист продолжительностью до 7 дней, суммарно за год, выданный сотруднику в связи с его персональной нетрудоспособностью, будет компенсирован Компанией таким образом, чтобы сохранить полную оплату, какая была бы в случае нахождения на работе;
• 5 дополнительных оплачиваемых (ресурсных) дней;
• возмещение до 50% затрат на занятия спортом;
• обеспечение необходимым оборудованием для работы;
• профессиональное обучение и сертификация за счёт компании;
• а еще мы организуем митапы, хакатоны, конференции, семинары и тренинги: как внутренние, так и внешние;
• партнерские программы по обучению иностранному языку и прокачки скиллов от Skyeng и Skillbox;
• доступ к корпоративной библиотеке на платформе Alpina Digital;
• оформление в соответствии с требованиями ТК РФ.