Data Engineer в Yandex Cloud
Город:
Москва
Занятость:
Полная занятость
Компания "Яндекс"
Наша команда DWH отвечает за развитие корпоративного хранилища данных. Мы обеспечиваем качество и своевременность поставки данных.
В работе мы используем сервисы Yandex Cloud для интеграции данных (Data Transfer, Schema Registry и т. д.). Обрабатываем данные с помощью YQL (расширенный SQL) и Nirvana (аналог Airflow). Хранилище данных — YT.
Ищем опытного инженера данных, который любит сложные задачи. Вы будете настраивать обновление данных и строить нагруженные системы.
Какие задачи вас ждут:
- Организация активации данных с различными источниками в различных режимах (CDC, increment, snapshot). Вам предстоит интегрировать данные из различных источников (API, PG, YDB, YDS) и передавать их на последующие уровни хранилища данных.
- Оптимизация ETL-процессов. Вам предстоит применять различные техники оптимизации к ETL-процессам.
- Управление данными в хранилище. Вам предстоит добавлять данные в систему, обновлять и удалять их.
Мы ждем, что вы:
- Имеете релевантный опыт, хорошо знаете SQL и Python;
- Готовы разбираться в деталях поставки и обработки данных;
- Работали с базами данных и ETL-процессами;
- Умеете работать с инструментами для управления данными;
- Вам интересно работать в команде и участвовать в разработке общих решений;
- Готовы изучать новые технологии и инструменты.
19 Ноября
Москва
Компания "Лаборатория Касперского" Стек, который использует команда: ОС: Linux (CentOS/Rocky Linux 8+), Windows Server 2019+ БД: MS SQL,...
20 Ноября
Москва
Компания "SberTech" Присоединяйтесь к команде кибербезопасности СберТеха — мы обеспечиваем безопасность продуктов от идеи до внедрения,...
20 Ноября
Senior DevOps/SRE Engineer (команда RnD)( SberTech )
Москва
Компания "SberTech" Центр Инноваций создает передовые решения на стыке технологий и бизнеса за счет фундаментальных знаний, примененных к рынку...
20 Ноября
Data Scientist / Data Analyst / Quantitative Analyst
Москва
Компания "Remokate" The role: We are looking for a Data Scientist / Quantitative Analyst to strengthen our trading research and analytics. You...
20 Ноября
Senior C разработчик в команду Network And Network Services DPDK/VPP [MWS Cloud Platform]
Москва
Компания "МТС" MWS Cloud Platform — новая облачная платформа от МТС Web Services, построенная на собственных технологиях виртуализации и...
Вакансия размещена в отрасли