Data Engineer( X5foodtech )
Город:
Москва
Занятость:
Полная занятость
Компания "X5foodtech"
Стек технологий, с которым работаем: Python, Hadoop, HDFS, Spark, PostgreSQL, GreenPlum, MongoDB, S3 Minio, Airflow, GitLab.
Чем предстоит заниматься:
- писать, оптимизировать и сопровождать программный код для систем больших данных, включая реализацию ETL/ELT процессов, обработку потоковых и пакетных данных;
- проводить плановые работы по улучшению производительности и масштабируемости программного кода и архитектуры систем;
- разработкой и поддержкой модульных и интеграционных тестов (Unit Tests, Integration Tests) для обеспечения стабильности решений;
- участвовать во внедрении лучших инженерных практик, стандартов качества и процессов CI/CD для повышения эффективности разработки;
- анализом и устранением дефектов в разработанных приложениях, обеспечивая стабильную работу систем;
- оценкой трудозатрат и планировании разработки новых функциональностей;
- тесно сотрудничать с другими техническими и бизнес-подразделениями для создания решений, отвечающих требованиям компании;
- созданием и поддержкой актуальной документации, описывающую архитектуру, алгоритмы и процессы обработки данных.
Пожелания к твоему опыту:
- опыт работы на позиции Инженера больших данных или смежной от 3 лет;
- уверенные знания Python 3;
- опыт работы с планировщиками задач - Airflow или аналоги;
- глубокое понимание архитектуры больших данных: принципы построения масштабируемых и отказоустойчивых систем;
- понимание архитектуры и опыт реализации ETL/ELT процессов;
- знание принципов моделирования данных (нормализация, денормализация);
- понимание методов оптимизации производительности кода и инфраструктуры;
- знание основ безопасности данных и управления доступом;
- высшее техническое образование.
14 Января
Senior VoIP Engineer (FreeSWITCH)
Москва
до 340 000 руб.
Компания "Центр Орбита" Группа Компаний Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания Масштабный...
14 Января
Software Development Engineer in Test/SDET C# (Services Integration)
Москва
Компания "Лаборатория Касперского" Кто мы: Мы – команда профессионалов, занимающаяся тестированием флагманских продуктов Лаборатории...
14 Января
QA automation engineer (Python, ML-сервисы)
Москва
Компания "РТ Лабс" РТЛабс создаёт и развивает масштабные цифровые сервисы Госуслуг — портал, мобильные приложения, социально значимые услуги,...
14 Января
DevOps Engineer( Positive Technologies )
Москва
Компания "Positive Technologies" Positive Technologies — компания с двадцатилетней историей в сфере информационной безопасности. Мы...
14 Января
ML Engineer / Data Scientist (С++)
Москва
от 200 000 до 350 000 руб.
Компания "НЭПТ" Компания - разработчик систем безопасности для Росатома. Вакансия открыта в Техническом департаменте в отделе разработки...
Вакансия размещена в отрасли