Data Engineer (Hadoop, Scala)
07 Января 2026
Город:
Москва
Занятость:
Полная занятость
Компания "Медиалогия"
Медиалогия — лидер в разработке продуктов для мониторинга и анализа данных из СМИ и социальных медиа.
Наши системы обрабатывают 100+ млн сообщений в сутки (1.7 млрд метрик), сканируя интернет в режиме реального времени. С помощью уникальных лингвистических технологий мы помогаем клиентам анализировать упоминания в соцсетях, блогах, форумах и управлять репутацией.
Чем предстоит заниматься:
-
Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.
-
Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).
-
Оптимизация распределенных вычислений и запросов.
-
Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
-
Участие в проектировании и масштабировании архитектуры данных.
-
Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).
Ключевые требования:
-
Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).
-
Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).
-
Опыт оптимизации производительности распределенных систем.
-
Работа с потоковой обработкой (Kafka, Spark Streaming).
-
Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).
Будет плюсом:
-
Опыт с PySpark, Flink, Airflow.
-
Знание Elasticsearch, ClickHouse, Vertica.
-
Навыки настройки кластеров и инфраструктуры.
Что мы предлагаем:
- оформление в штат в соответствии с ТК РФ;
- ДМС после успешного прохождения испытательного срока;
- специальные условия для сотрудников на страхование для членов семьи;
- скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое);
- бесплатное онлайн-обучение на корпоративном портале;
- участие в сложных Big Data-проектах с высокой нагрузкой;
- карьерный рост в сильной data-команде;
- удаленный или гибридный формат работы;
- современный офис в пешей доступности от метро «Дмитровская» (БЦ «Савеловский Сити»).
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
29 Декабря
Стажер (Data Engineer)( X5 Tech )
Москва
Компания "X5 Tech" X5 Group — российская розничная торговая компания, управляющая продуктовыми торговыми сетями «Пятёрочка», «Перекрёсток» и...
29 Декабря
DevOps Engineer / Site Reliability Engineer (SRE)
Москва
Компания "Kameleoon" О нас Мы - международная IT-компания с офисами в Париже, США и Германии. Наш продукт - платформа для персонализации и...
29 Декабря
Москва
Компания "MIXIT" Бренд MIXIT - российская косметическая компания, концепт истинной красоты, экспертизы и инноваций. Мы разрабатываем только...
30 Декабря
Data Analyst( Мазитов Валерий Дмитриевич )
Москва
от 120 000 до 180 000 руб.
Компания "Мазитов Валерий Дмитриевич" В связи с ростом команды мы ищем аналитика-разработчика, который усилит внутреннюю аналитику платёжного...
30 Декабря
Senior Fullstack QA Engineer (Uzum Tezkor)
Москва
Компания "«UZUM TECHNOLOGIES»." Почему Uzum? Большие возможности — нам всего 3 года, но мы уже лидеры рынка в стране. Если вы устали...
Вакансия размещена в отрасли