ETL-developer/ETL-разработчик

06 Ноября

от 200 000 до 300 000 руб.

Партнерские Вакансии

Компания "Акселератор возможностей"

Акселератор Возможностей — инвестиционно-консалтинговая компания, крупнейший в России интегратор корпоративных инноваций, главный оператор инновационной деятельности на территории Научной Долины МГУ.

Миссия компании – обеспечение устойчивого инновационного развития российских компаний, а также реализация кадрового потенциала российских специалистов.

Сейчас мы ищем ETL разработчика для трудоустройства в штат нашего партнера.

Российский ИТ-интегратор, ключевой подрядчик в цифровой трансформации российского бизнеса для ведущих банков, крупнейших металлургических, горнодобывающих, нефтехимических компаний, ритейл-компаний, телеком-операторов.

• ТОП-5 крупнейших IT-компаний России
• 2015 год основания
• 8 экспертных центров по разным направлениям разработки ПО
• 1000+ сотрудников
• более 1500 выполненных проектов

Что для нас важно:

• Опыт реализации CDC через Debezium для различных баз данных.
• Настройка топологий Kafka для обеспечения надёжности и отказоустойчивости.
• Построение пайплайнов в NiFi для интеграции с ksqlDB и Kafka.
• Создание потоковой аналитики и реализация ETL на основе событийной архитектуры (event-driven architecture).
• Настройка взаимодействия NiFi с Kafka, REST API, RabbitMQ и другими системами.

Технологии:
1. Kafka и Debezium

Apache Kafka:
Знание архитектуры Kafka: брокеры, топики, продюсеры, консюмеры, схемы сообщений.

Debezium:
Настройка источников данных (PostgreSQL, MongoDB и др.) для CDC через Debezium.
Конфигурация Kafka Connect для интеграции с Debezium.

2. KSQL db (ksqlDB)

Основы работы с ksqlDB:
Написание запросов для потоковой обработки данных (streaming queries).
Создание потоков (streams) и таблиц (tables) в ksqlDB.

Интеграция с Kafka:
Конфигурирование источников данных для анализа потоков в ksqlDB.

3. Apache NiFi

Пайплайны данных:
Разработка потоков данных (data flows) в NiFi для чтения, преобразования и записи данных.
Настройка процессоров для работы с Kafka, базами данных и другими источниками/приемниками.

Интеграция систем:
Построение пайплайнов для обработки событий в режиме реального времени и пакетной обработки.
Обеспечение отказоустойчивости и мониторинга процессов

Что мы предлагаем:

• "Белая заработная" плата в аккредитованной ИТ компании;
• Оформление по ТК РФ с первого дня;
• Стабильный доход;
• График 5/2 полная удаленка или гибрид на твой выбор.

Преимущества компании:

• Возможность "путешествовать" по проектам разных направлений (промка, фин, телеком, агро , медицина, ретейл) в рамках 1 работодателя;
• Свой собственный институт знаний, позволяющий проходить курсы как в онлайн формате, так и в записи по различным направлениям: разработка, тестирование, аналитика, а также прокачивать soft skills;
• Ментор. Возможность как быть ментор, так и иметь собственного ментора;
• ИПР - индивидуальный план развития;
• Митап - возможность присутствовать на митапов сотрудников, а также возможность проведение собственного митапа с нашей поддержкой;
• Возможность принять участие в развитии новых направлений компании, с привлечением экспертов и научных деятелей;
• Можно стать членом команды для участие в различных активностях компании, например организация хакатонов по направлением аналитики , разработки, тестирования, участие в различных выставках и конференциях.