Data Engineer( МФК ВЭББАНКИР )
до 250 000 руб.
Город:
Москва
Занятость:
Полная занятость
Компания "МФК ВЭББАНКИР"
Обязанности:
- Разработка ETL/ELT пайплайнов на Apache Airflow;
- Проектирование и реализация решений для интеграции источников данных (MongoDB, Kafka, S3, Postgres) в DWH;
- Работа с API различных сервисов для получения данных;
- Оптимизация запросов и архитектуры хранения в колоночных СУБД;
- Разработка сервисов обработки данных на Python (Pandas, Pydantic);
- Участие в проектировании архитектуры хранилища;
- Документирование архитектуры и процессов обработки данных;
Требования:
- Опыт работы Data Engineer от 2-ух лет;
- Уверенное владение Python 3.8+. Понимание принципов ООП, многопоточности, асинхронности и инструментов работы с БД (psycopg2, clickhouse-driver, SQLAlchemy);
- Практический опыт работы с Apache Airflow (2.10+), реляционный СУБД (Postgres), Kafka;
- Знание форматов данных JSON, XML, AVRO, Parquet;
- Опыт работы с GIT;
Будет плюсом:
- Опыт работы с Clickhouse, OpenMetadata, Docker, k8s, Debezium;
- Опыт в развертывании и администрировании Apache Airflow (2.0+).
20 Мая
Аналитик данных (Data analyst)
Москва
Компания "Красное & Белое, розничная сеть" Для решение разнообразных и интересных задач в команду Аналитического отдела требуются новые...
15 Мая
Москва
Компания "Лаборатория Касперского" О нас: Мы ищем опытного DevOps Engineer'а в проект платформы противодействия комплексным угрозам и...
14 Мая
Специалист по безопасной разработке приложений (Application security engineer)
Москва
Компания "SberTech" SberTech приглашает в свою команду Application Security Эксперта/специалиста в отдел безопасности разработки...
15 Мая
Senior DevOps engineer( Positive Technologies )
Москва
Компания "Positive Technologies" Кто мы Positive Technologies — вендор продуктов и услуг в области кибербезопасности. Более 20 лет наша...
15 Мая
Python / AI Developer (GenAI & Data Systems)
Москва
Компания "Аренадата Софтвер" ДатаКаталог — ведущая команда разработки продукта Arenadata Catalog — корпоративного каталога данных и системы...
Вакансия размещена в отрасли