Senior/Middle Data Engineer

Компания "Медиапоинт"

Медиапоинт - digital-платформа игровой тематики. Мы работаем не только на территории России, но и на международном рынке.

В нашу молодую и дружную команду ищем Senior/Middle Data Engineer!

В ваши задачи будет входить:

• Проектирование и разработка высокопроизводительных data pipelines с использованием Apache Kafka и Apache NiFi для обработки и интеграции данных в режиме реального времени;
• Настройка и управление оркестрацией ETL/ELT процессов с помощью Apache Airflow и dbt;
• Оптимизация и поддержка реляционных баз данных (Postgres/MySQL) и аналитических хранилищ данных, таких как Clickhouse;
• Управление хранилищами данных и системами для работы с большими данными (такими как, S3/Minio) и их интеграция с системами анализа данных, такими как Apache Spark;
• Автоматизация задач мониторинга и обеспечения надежности потоков данных;
• Работа над повышением производительности и надежности процессов обработки данных с учетом требований безопасности и отказоустойчивости;
• Взаимодействие с командами разработки и аналитики для обеспечения бесперебойного доступа к данным;
• Разработка и внедрение стратегий по управлению данными, их качества и доступности;

Что мы от вас ожидаем:

• Отличное знание SQL, Python;

• Опыт работы с потоковыми платформами, такими как Apache Kafka;

• Глубокое понимание и опыт работы с Apache NiFi для построения потоков данных и управления интеграцией;

• Знание систем оркестрации процессов, таких как Apache Airflow, и инструментов трансформации данных, таких как dbt;

• Хорошее знание реляционных баз данных (Postgres, MySQL) и аналитических хранилищ данных, таких как Clickhouse;

• Опыт работы с системами хранения данных, такими как S3/Minio или HDFS, и инструментами для работы с большими данными, такими как Apache Spark, Flink;

• Опыт создания и поддержки ETL/ELT процессов в production среде;

• Знание принципов построения отказоустойчивых и масштабируемых систем для работы с большими объемами данных;

• Опыт настройки и оптимизации производительности баз данных и хранилищ данных;

• Приветствуется опыт работы с CI/CD для автоматизации процессов обработки данных;

Что мы можем предложить:

• Возможность полностью работать удаленно из любой точки мира или в офисе (Москва, Кипр) для желающих поработать в формате коворкинга или с закрепленным рабочим местом;

• Оформление в штат компании и не только;

• Возможность получать зп в любой валюте;

• Плавающее начало дня, 8 часов рабочий день;

• Разнообразные корпоративные программы.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя