Middle/middle+ Data Engineer

06 Декабря

Город:

Москва

Занятость:

Полная занятость

Компания "Метр Квадратный"

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

Загружать и обрабатывать в DWH данных внутренних и внешних систем (стек Kafka, PySpark, Hadoop, Clickhouse, AirFlow, s3, dbt, trino);
принимать участие в построении DWH: проектирование, определение сущностей, формирование витрин данных;
формировать DQ проверки данных, разрабатывать процессы мониторинга и информирования о качестве данных.

ЧЕГО МЫ ЖДЕМ:

Опыт обработки больших данных, знание принципов работы БД и методологий моделирования;
продвинутый уровень владения Python, Apache AirFlow, SQL,dbt;
понимание концепций непрерывной интеграции, доставки (CI/CD) и работа с контейнерами (Docker);
высшее образование, широкий технический кругозор;
проактивность и ответственность за конечный результат;
английский - на уровне чтения документации.

Будет плюсом:

- Знание Spark и trino.

Похожие вакансии

05 Декабря

Москва

Компания "«Газпромбанк» (Акционерное общество)" Предстоит: • Поддержка инфраструктуры для разработки(Git, Teamcity, JupyterHub) •...

05 Декабря