Data Engineer (Hadoop)
03 Января 2026
Город:
Москва
Занятость:
Полная занятость
Компания "Медиалогия"
Медиалогия — лидер в разработке продуктов для мониторинга и анализа данных из СМИ и социальных медиа.
Наши системы обрабатывают 100+ млн сообщений в сутки (1.7 млрд метрик), сканируя интернет в режиме реального времени. С помощью уникальных лингвистических технологий мы помогаем клиентам анализировать упоминания в соцсетях, блогах, форумах и управлять репутацией.
Чем предстоит заниматься:
-
Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.
-
Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).
-
Оптимизация распределенных вычислений и запросов.
-
Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
-
Участие в проектировании и масштабировании архитектуры данных.
-
Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).
Ключевые требования:
-
Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).
-
Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).
-
Опыт оптимизации производительности распределенных систем.
-
Работа с потоковой обработкой (Kafka, Spark Streaming).
-
Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).
Будет плюсом:
-
Опыт с PySpark, Flink, Airflow.
-
Знание Elasticsearch, ClickHouse, Vertica.
-
Навыки настройки кластеров и инфраструктуры.
Что мы предлагаем:
-
Официальное оформление по ТК РФ, белую зарплату.
-
Гибкий график и удалённый формат работы.
-
ДМС (включая международную страховку после испытательного срока).
-
Массажист в офисе.
Развитие и возможности:
-
Участие в сложных Big Data-проектах с высокой нагрузкой.
-
Карьерный рост в сильной data-команде.
-
Посещение профильных конференций за счет компании.
-
Система лояльности с партнёрами.
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
26 Декабря
Москва
Компания "РУССДРАГМЕТ" Мы ищем опытного специалиста для создания единой корпоративной платформы данных в рамках ИИ-трансформации компании....
27 Декабря
Senior Data Scientist (нейронные сети, скоринг)
Москва
Компания "Spice Agency" Ищем эксперта по работе с нейронными сетями для компании из сферы финтех. Проект Продуктовое направление –...
27 Декабря
Москва
от 200 000 до 400 000 руб.
Компания "Бюро судебного взыскания" Обязанности: Проведение исследование данных, экспериментов для проверки технических и бизнес гипотез с...
27 Декабря
Москва
Компания "SberDevices" Чем предстоит заниматься? Разработка системных компонентов прошивок для умных устройств. Мы ожидаем что вы:...
27 Декабря
Senior Data Analyst / Аналитик данных (Data Governance, Power BI)
Москва
Компания "MAREE" Мы MAREE - бренд косметики и бест-селлер на Amazon. Наши продукты завоевали сердца уже более 1,000,000 девушек в США . Наша...
Вакансия размещена в отрасли