Data Engineer( X5foodtech )

X5foodtech

Город:

Москва

Занятость:

Полная занятость

Компания "X5foodtech"

Стек технологий, с которым работаем: Python, Hadoop, HDFS, Spark, PostgreSQL, GreenPlum, MongoDB, S3 Minio, Airflow, GitLab.

Чем предстоит заниматься:

писать, оптимизировать и сопровождать программный код для систем больших данных, включая реализацию ETL/ELT процессов, обработку потоковых и пакетных данных;
проводить плановые работы по улучшению производительности и масштабируемости программного кода и архитектуры систем;
разработкой и поддержкой модульных и интеграционных тестов (Unit Tests, Integration Tests) для обеспечения стабильности решений;
участвовать во внедрении лучших инженерных практик, стандартов качества и процессов CI/CD для повышения эффективности разработки;
анализом и устранением дефектов в разработанных приложениях, обеспечивая стабильную работу систем;
оценкой трудозатрат и планировании разработки новых функциональностей;
тесно сотрудничать с другими техническими и бизнес-подразделениями для создания решений, отвечающих требованиям компании;
созданием и поддержкой актуальной документации, описывающую архитектуру, алгоритмы и процессы обработки данных.

Пожелания к твоему опыту:

опыт работы на позиции Инженера больших данных или смежной от 3 лет;
уверенные знания Python 3;
опыт работы с планировщиками задач - Airflow или аналоги;
глубокое понимание архитектуры больших данных: принципы построения масштабируемых и отказоустойчивых систем;
понимание архитектуры и опыт реализации ETL/ELT процессов;
знание принципов моделирования данных (нормализация, денормализация);
понимание методов оптимизации производительности кода и инфраструктуры;
знание основ безопасности данных и управления доступом;
высшее техническое образование.