Архитектор данных( Иннотехнум, Группа компаний )

Иннотехнум, Группа компаний

Город:

Москва

Занятость:

Полная занятость

Компания "Иннотехнум, Группа компаний"

Команда занимается развитием процессинговой платформы W4

Организация релизного управления, организация и настройка стендов тестирования, организация автотестирования и процессов Devops – в части процессинговых систем.
Реализация отдельного экземпляра Way4 «Гринфилд» в рамках единого эмиссионного процессинга ВТБ и апробация технологий для реализации «Линейного масштабирования».
Разработка аналитической и оперативной отчетности, проведение доработок на текущем стеке технологий (VOZ, TKMO).
Повышение уровня безопасности процессинга Банка. Приведение процессинга Банка к соответствию требований безопасности МПС (PCI DSS). Предоставление сервиса по токенизации/ де-токенизациии карточных данных

Обязанности:

Развитие и поддержка хранилищ на основе ClickHouse;
Загрузка и обработка в DWH данных внутренних и внешних систем (стек Kafka, Oracle, Clickhouse, PostgreSQL, NiFi, AirFlow);
Анализ работы кластеров и профиля нагрузки приложений. Предложения по улучшению ресурсных групп;
Выявление и анализ узких мест в производительности работы кластеров\системы резервного копирования. Оптимизация влияющих факторов;
Создание и развитие процессов управления данными и их качеством;
Участие в построении DWH: проектирование, определение сущностей, формирование витрин данных;
Формировать DQ проверки данных, разрабатывать процессы мониторинга и информирования о качестве данных.

Требования:

Понимания концепций построения хранилищ данных (DWH);
Понимание специфики DV, Ancor;
Понимание специфики наполнение слоев хранилища;
Знания принципов работы реляционных СУБД;
Опыт работы с ClickHouse, понимание возможностей и архитектуры ClickHouse;
Опыт работы с Oracle и/или PostgreSQL;
Знание SQL на высоком уровне, опыт работы с PL/pgSQL;

Будет плюсом:
Базовые знания и/или опыт разработки на языке выскорого уровня Java/Go/Python;
Практический опыт работы с Hadoop, Kafka, NiFi/Airflow;
Опыт разработки ПО и code review на одной из СУБД от 3-х лет;
Опыт автоматизации процессов при помощи bash скриптов;
Опыт оптимизации затрат и планирования мощностей.