Data Engineer / Дата Инженер (в архиве)

14 Января

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Опыт:

Более 6 лет

Компания "Брайт Эйдженси"

Кадровое агентство Brightman ищет Data Engineer с опытом от 5 лет.

По вакансии предусмотрен переезд в Баку, Азербайджан; релокационный пакет.

Наш клиент — крупная компания, работающая по следующим направлениям: искусственный интеллект, машинное обучение, Data Science, Big Data, государственные цифровые инициативы и платформенные решения.

Обязанности:

руководство проектированием, разработкой и поддержкой сложных ETL/ELT-пайплайнов;
установление и контроль стандартов качества данных, практик мониторинга и валидации;
интеграция и обработка структурированных, частично структурированных и неструктурированных наборов данных из различных систем;
предоставление чистых и хорошо структурированных наборов данных командам аналитики, ML/AI и операционным подразделениям для поддержки стратегических решений;
активное участие в архитектурных обсуждениях, предложение улучшений и определение лучших практик для платформы данных;
наставничество для инженеров среднего и младшего уровня, помощь в техническом развитии и решении задач;
поддержка воспроизводимых рабочих процессов, ведение подробной документации и содействие автоматизации процессов.

Требования:

опыт работы в сфере Data Engineering от 5 лет;
степень бакалавра в области компьютерных наук, инженерии;
продвинутые знания SQL и навыки программирования (Python, SQL; PostgreSQL или аналоги);
глубокое понимание концепций приёма, трансформации и оркестрации данных (Airflow, Prefect или аналоги);
уверенное знание принципов пакетной и потоковой обработки данных (Spark, Kafka или аналогичные фреймворки);
обширный опыт работы с крупномасштабными платформами данных (облачными или on-premise);
углубленное понимание концепций масштабируемого хранения данных, хранилищ данных и больших данных;
знакомство с контейнеризацией, практиками развертывания и CI/CD-пайплайнами;
уверенное владение системами контроля версий и процессами совместной разработки (например, Git);
развитые навыки лидерства в команде, наставничества и коллаборации;
отличные способности к решению проблем, аналитическому мышлению и стратегическому планированию;
умение эффективно доносить технические концепции как техническим, так и нетехническим стейкхолдерам;
адаптивность и проактивная готовность осваивать новые инструменты и методологии.