Data Engineer( Брайт Эйдженси )

Брайт Эйдженси

Город:

Москва

Занятость:

Полная занятость

Компания "Брайт Эйдженси"

Рекрутинговое агентство Brightman находится в поиске Senior Data Engineer.

Наш клиент – государственный холдинг при министерстве оборонной промышленности.

Вакансия предусматривает релокацию в Баку, Азербайджан.

Обязанности:

руководство проектированием, разработкой и поддержкой сложных ETL/ELT-пайплайнов;
установление и контроль стандартов качества данных, практик мониторинга и валидации;
интеграция и обработка структурированных, частично структурированных и неструктурированных наборов данных из различных систем;
предоставление чистых и хорошо структурированных наборов данных командам аналитики, ML/AI и операционным подразделениям для поддержки стратегических решений;
активное участие в архитектурных обсуждениях, предложение улучшений и определение лучших практик для платформы данных;
наставничество для инженеров среднего и младшего уровня, помощь в техническом развитии и решении задач;
поддержка воспроизводимых рабочих процессов, ведение подробной документации и содействие автоматизации процессов.

Требования:

опыт работы в сфере Data Engineering от 5 лет;
опыт работы с данными из области радарных систем, сонарных систем, сенсоров, изображений, видео, спутниковых данных, беспилотников (UAV);
степень бакалавра в области компьютерных наук, инженерии;
продвинутые знания SQL и навыки программирования (Python, SQL; PostgreSQL или аналоги);
глубокое понимание концепций приёма, трансформации и оркестрации данных (Airflow, Prefect или аналоги);
уверенное знание принципов пакетной и потоковой обработки данных (Spark, Kafka или аналогичные фреймворки);
обширный опыт работы с крупномасштабными платформами данных (облачными или on-premise);
углубленное понимание концепций масштабируемого хранения данных, хранилищ данных и больших данных;
знакомство с контейнеризацией, практиками развертывания и CI/CD-пайплайнами;
уверенное владение системами контроля версий и процессами совместной разработки (например, Git);
опыт участия в научных исследованиях, публикациях и конференциях;
уровень английского языка – Intermediate и выше;
развитые навыки лидерства в команде, наставничества и коллаборации;
отличные способности к решению проблем, аналитическому мышлению и стратегическому планированию;
умение эффективно доносить технические концепции как техническим, так и нетехническим стейкхолдерам;
адаптивность и проактивная готовность осваивать новые инструменты и методологии.