Data Engineer (Hadoop)
08 Декабря 2025
Город:
Москва
Занятость:
Полная занятость
Компания "Медиалогия"
Медиалогия — лидер в разработке продуктов для мониторинга и анализа данных из СМИ и социальных медиа.
Наши системы обрабатывают 100+ млн сообщений в сутки (1.7 млрд метрик), сканируя интернет в режиме реального времени. С помощью уникальных лингвистических технологий мы помогаем клиентам анализировать упоминания в соцсетях, блогах, форумах и управлять репутацией.
Чем предстоит заниматься:
-
Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.
-
Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).
-
Оптимизация распределенных вычислений и запросов.
-
Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
-
Участие в проектировании и масштабировании архитектуры данных.
-
Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).
Ключевые требования:
-
Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).
-
Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).
-
Опыт оптимизации производительности распределенных систем.
-
Работа с потоковой обработкой (Kafka, Spark Streaming).
-
Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).
Будет плюсом:
-
Опыт с PySpark, Flink, Airflow.
-
Знание Elasticsearch, ClickHouse, Vertica.
-
Навыки настройки кластеров и инфраструктуры.
Что мы предлагаем:
-
Официальное оформление по ТК РФ, белую зарплату.
-
Гибкий график и удалённый формат работы.
-
ДМС (включая международную страховку после испытательного срока).
-
Массажист в офисе.
Развитие и возможности:
-
Участие в сложных Big Data-проектах с высокой нагрузкой.
-
Карьерный рост в сильной data-команде.
-
Посещение профильных конференций за счет компании.
-
Система лояльности с партнёрами.
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
01 Декабря
Москва
Компания "BetBoom" ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Написание, актуализация и ревью тест кейсов; Написание и тестирование технических...
30 Ноября
QA Engineer( АНО Проектный офис по Развитию Туризма и Гостеприимства Москвы )
Москва
Компания "АНО Проектный офис по Развитию Туризма и Гостеприимства Москвы" RUSSPASS – новая цифровая платформа для туристов, помогающая...
29 Ноября
Москва
Компания "SberCloud" На этой позиции тебе предстоит: Разработка и сопровождение ETL процедур загрузки данных Развитие...
29 Ноября
Москва
от 250 000 до 400 000 руб.
Компания "МФТИ ГУ" Институт ИИ МФТИ – ведущий институт по искусственному интеллекту в России. В его состав входят сильнейшие ученые и ключевые...
29 Ноября
Москва
Компания "Алкогольный холдинг «Руст»" ОСНОВНЫЕ ЗАДАЧИ: • Построения и валидация моделей (supervised, unsupervised, transfer learning),...
Вакансия размещена в отрасли