Lead Data Engineer( Цифровой аудит )

28 Января

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Компания "Цифровой аудит"

Мы ведущий технологический партнер Счетной палаты Российской Федерации.
АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений.

Мы ищем Lead Data Engineer / руководителя команды, который возьмет на себя техническое лидерство и организацию работы по построению и поддержке нашей платформы данных.

Что нужно делать:

  • Организация деятельности по созданию и поддержке аналитических хранилищ;
  • Организация поддержки полного цикла ETL/ELT;
  • Обеспечение поддержки в построении аналитических запросов со стороны инженерии.

Наши ожидания:

  • Опыт руководства коллективом дата-инженеров не менее 3 лет
  • Глубокие знания SQL:
  • Знание, что такое физический и логический JOIN;
  • Умение применять план запроса;
  • Понимание что такое индексы, партиционирование, шардирование, сжатие данных, тюнинг параметров СУБД, распределенные таблицы, параллельные вычисления, форматы ORC/parquet;
  • Опыт работы с оконными функциями, ROLLUP;
  • Опыт работы с одной или несколькими аналитическими СУБД или платформами (Greenplum, Clickhouse, Vertica, Hive, Redshift или похожими);
  • Понимание процессов Data-инженерии;
  • Знание, чем отличаются ETL, ELT, CDC и опыт работы хотя бы с одним из этих data pipeline;
  • Понимаете OLTP и OLAP, Опыт работы с Data Warehouse и Data Lake;
  • Опыт разработки на языке программирования Python или Java;
  • Знание Apache Airflow/Apache NiFi (иные похожие инструменты)
  • Знание инструментов Pentaho Data Integration (PDI) или Hop (иные похожие инструменты);
  • Умение проводить обработку структурированных данных (XML, JSON, YAML, CSV/TSV, иных)
  • Опыт работы с обработкой не структурированных или слабо структурированных данных (электронные письма, логи, HTML-страницы, PDF документы, иные похожие виды данных) и извлечь из них требуемые сведения
  • Навыки работы с ОС Linux
  • Опыт работы с GIT

Будет плюсом:

  • Опыт работы с архитектурой Data Vault
  • Опыт работы с Postgres и Clickhouse
  • Опыт работы с Hadoop и/или S3
  • Умение "чинить" невалидные данные.

Мы предлагаем:

  • Работу в аккредитованной IT компании с большим потенциалом;
  • Прозрачную систему мотивации, стабильную загрузку;
  • Оформление в соответствии с ТК РФ;
  • Дружный коллектив и лояльное внимательное руководство;
  • Разнообразный набор социальных льгот и гарантий;
  • Уровень заработной платы по результатам собеседования.
Похожие вакансии

03 Февраля

Главный системный аналитик ( Team Lead)

Москва

Компания "Азиатско-Тихоокеанский Банк" Мы расширяем свои команды разработки и в поиске крутого Team Lead системных аналитиков....

Отправить резюме подробнее

03 Февраля

Data Scientist / ML-инженер( Медиалогия )

Москва

Компания "Медиалогия" Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа. Мы разрабатываем...

Отправить резюме подробнее

03 Февраля

Data Engineer( Ozon )

Москва

Компания "Ozon" Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению...

Отправить резюме подробнее

03 Февраля

Аналитик данных/Data Analyst( РСХБ-Интех )

Москва

Компания "РСХБ-Интех" НАША КОМАНДА отвечает за создание и развитие персонализированной коммуникации с клиентами банка через цифровые каналы. Мы...

Отправить резюме подробнее

04 Февраля

Инженер по тестированию (Data Platform и ML)

Москва

Компания "МегаФон 1440" Чем предстоит заниматься: Проведение функционального тестирования нового функционала и регрессионного тестирования...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: