Ведущий Data разработчик (Фабрика данных)
08 Мая 2026
Город:
Москва
Занятость:
Полная занятость
Компания "Diasoft"
О проекте
Мы развиваем Фабрику данных — современную платформу для управления корпоративными данными, объединяющую лучшие open-source технологии и собственные решения. Платформа помогает крупным банкам и финансовым компаниям выстраивать Data Lake и витрины данных для аналитики и AI.
Проект включает работу с высоконагруженными потоками, интеграцию разных источников (ERP, API, event-шины), использование технологий Kafka, Spark, Impala, Iceberg. Вся инфраструктура масштабируется в Kubernetes под реальные бизнес-задачи.
На текущем этапе, мы в поисках ведущего разработчика в нашу команду.
Чем предстоит заниматься
- Разрабатывать и поддерживать пайплайны обработки больших данных (batch и streaming);
- Настраивать интеграцию с источниками данных (API, Kafka, JDBC, файловые системы);
- Реализовывать преобразования и обогащение данных с использованием Spark (PySpark);
- Проектировать и оптимизировать структуры хранения (Iceberg, Parquet, S3);
- Работать с SQL-движками (Impala, Trino, PostgreSQL) и управлять витринами данных;
- Внедрять инструменты мониторинга и алертинга качества данных и инфраструктуры;
- Взаимодействовать с командами DevOps, BI и аналитиками.
Наши ожидания
- Аналогичный опыт работы на позиции разработчика от 3 лет;
- Опыт работы с большими объёмами данных и высоконагруженными системами;
- Уверенные знания экосистемы Apache Hadoop (HDFS, Impala, Trino, Hive, Hue);
- Опыт работы с Apache Spark (PySpark, MLlib, Spark SQL);
- Знание форматов хранения Apache Iceberg, Parquet;
- Опыт работы с Kafka (настройка, интеграция);
- Хорошие знания Python, опыт разработки ETL-скриптов и аналитических моделей;
- Уверенное владение SQL (PostgreSQL).
Условия:
-
Полная занятость, график работы 5/2;
- Гибкое начало рабочего дня;
- Оформление по ТК РФ, бессрочный трудовой договор;
- Для городов: Москва, Санкт-Петербург, Ярославль, Чебоксары, Пермь, Воронеж, Самара, Новосибирск, Уфа - гибридный формат работы: по пятницам работа из офиса, остальные дни дистанционно или, по желанию, в офисе;
-
Для городов: Екатеринбург, Волгоград, Калининград, Тула, Казань, Нижний Новгород, Краснодар, Рязань - дистанционный формат работы до тех пор, пока не будет открыт филиал. После открытия филиала занятость сменится на гибридный формат (один день в неделю из офиса).
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
27 Апреля
Администратор баз данных( АКЦИОНЕРНОЕ ОБЩЕСТВО "СЕРПУХОВСКИЙ ЗАВОД "МЕТАЛЛИСТ" )
Серпухов
от 120 000 до 150 000 руб.
Компания "АКЦИОНЕРНОЕ ОБЩЕСТВО "СЕРПУХОВСКИЙ ЗАВОД "МЕТАЛЛИСТ"" Ответственность: Поддержание в актуальном рабочем состоянии полного объема...
26 Апреля
Красногорск
от 80 000 до 90 000 руб.
Компания "ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ МОСКОВСКОЙ ОБЛАСТИ "МОСКОВСКИЙ ОБЛАСТНОЙ МЕДИЦИНСКИЙ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЙ ЦЕНТР""...
28 Апреля
Ведущий программист 1С( Crocus Group )
Москва
от 300 000 руб.
Компания "Crocus Group" Crocus Group — крупный многопрофильный холдинг с многолетним опытом успешной реализации масштабных строительных...
28 Апреля
Аналитик / Data Scientist (доставка, surge pricing)
Москва
Компания "ВкусВилл" Привет! Мы — команда доставки ВкусВилла. Ищем аналитика / data scientist'а в команду операций, который займётся двумя...
28 Апреля
Москва
Компания "ИТС" Привет, мы ит-интегратор и наша ключевая экспертиза – это внедрение корпоративного ПО. Нам нравится помогать бизнесу становиться...
Вакансия размещена в отрасли