Data Engineer (Hadoop, Scala)

Компания "Медиалогия"

Медиалогия — лидер в разработке продуктов для мониторинга и анализа данных из СМИ и социальных медиа.

Наши системы обрабатывают 100+ млн сообщений в сутки (1.7 млрд метрик), сканируя интернет в режиме реального времени. С помощью уникальных лингвистических технологий мы помогаем клиентам анализировать упоминания в соцсетях, блогах, форумах и управлять репутацией.

Чем предстоит заниматься:

• Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.

• Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).

• Оптимизация распределенных вычислений и запросов.

• Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).

• Участие в проектировании и масштабировании архитектуры данных.

• Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).

Ключевые требования:

• Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).

• Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).

• Опыт оптимизации производительности распределенных систем.

• Работа с потоковой обработкой (Kafka, Spark Streaming).

• Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).

Будет плюсом:

• Опыт с PySpark, Flink, Airflow.

• Знание Elasticsearch, ClickHouse, Vertica.

• Навыки настройки кластеров и инфраструктуры.

Что мы предлагаем:

• оформление в штат в соответствии с ТК РФ;
• ДМС после успешного прохождения испытательного срока;
• специальные условия для сотрудников на страхование для членов семьи;
• скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое);
• бесплатное онлайн-обучение на корпоративном портале;
• участие в сложных Big Data-проектах с высокой нагрузкой;
• карьерный рост в сильной data-команде;
• удаленный или гибридный формат работы;
• современный офис в пешей доступности от метро «Дмитровская» (БЦ «Савеловский Сити»).