Архитектор решений Hadoop

Компания "Группа НЛМК"

Группа НЛМК крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США. Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения. Заботимся о сотрудниках и создаем возможности для их развития и самореализации. Создаем настоящее будущее.

Для нас важно:

• Анализ и участие в подготовке ФТТ.

• Проектирование архитектуры решений, физических моделей данных с

• учетом особенностей платформ, включая принципы построения слоев STG/ODS/DDS/DM, а также перемещения данных между ними.

• Подготовка сайзинга необходимой инфраструктуры.

• Проектирование интеграции данных между различными системами.

Чем предстоит заниматься:

• Корпоративные хранилища данных:

Опыт построения DWH, DL

• Разработка процедур загрузки данных из различных источников, автоматизация и контроль ETL\ELT процессов:

1. Apache Airflow
2. Apache NiFi

• Знание языков программирования (на выбор):

1. Python (основные пакеты Numpy, Pandas, SCiPy и др)
2. SQL
3. Java Scala
4. C++

• Знание фреймворков потоковой обработки данных:

1. Kafka Streaming and Connect
2. Flink
3. Spark Streaming

• Навыки разработки приложений с использованием инструментария экосистемы Hadoop:

1. HDFS, YARN, Hbase, Hive, Spark, Kafka, Sentry, Airflow, Ranger, Impala и т.п.

• Опыт работы с реляционными системами управления базами данных (SQL):

1. MSSQL
2. Oracle
3. PostgreSQL
4. MySQL

• Опыт работы с системами управления базами данных (NoSQL):

1. Clickhouse
2. Cassandra
3. ScyllaDB
4. MongoDB
5. Redis

• Владение git

Работа в группе НЛМК-это:

• Работа в международной сталелитейной компании с активами в России, США и странах Европы, с развитыми корпоративными ценностями и стандартами;
• Оформление по ТК РФ, ежегодная индексация заработной платы, прозрачная система премирования;
• Высокие стандарты безопасности труда и культуры производства;
• Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнеров, корпоративная дотация на питание, материальная поддержка сотрудников в различных жизненных ситуациях;
• График Работы: 5/2, удаленный формат работы
• Релокационный пакет с нашей поддержкой;
• Программы заботы о здоровье: (ДМС, страхование от НС и профессиональных заболеваний, диспансеризация, вакцинация).
• Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя