DWH Engineer в VK Видео
10 Октября 2024
Город:
Москва
Занятость:
Полная занятость
Компания "Mail.ru Group"
VK Видео — это один из самых крупных сервисов потокового видео в России. Ежедневно им пользуются десятки миллионов людей, и перед нами стоит амбициозная задача — стать видеосервисом №1 в РФ.
Мы ищем сильных DWH-инженеров, которые помогут построить удобное и качественное хранилище данных на большом кластере размером сотни петабайт для анализа поведения пользователей и обучения моделей.
Задачи:
- разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики и ML;
- выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки;
- сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат.
- вы имеете опыт работы DWH-инженером;
- уже работали с экосистемой Hadoop, в частности с Airflow, Spark и HDFS;
- умеете составлять сложные SQL-запросы;
- программируете на Python и разбираетесь в парадигме MapReduce;
- умеете работать с Git и разрабатывать код в команде из нескольких человек;
- знаете основы работы с операционными системами на базе Unix/Linux;
- можете быстро разобраться в плохо формализованной задаче, сформулировать её и выделить главное;
- способны вести несколько проектов одновременно и самостоятельно расставлять приоритеты.
Будет плюсом:
- опыт работы с ClickHouse, Superset, Jupyter;
- базовые навыки в машинном обучении.
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
05 Октября
Москва
Компания "EMEX" О компании EMEX — компания с большой и интересной историей, один из первых маркетплейсов на рынке РФ . Cейчас EMEX —...
05 Октября
Системный аналитик DWH/MDM/AI( Excdev )
Москва
Компания "Excdev" Чем предстоит заниматься: -Сбор, анализ и документирование бизнес-требований для разработки систем DWH, MDM и ИИ...
04 Октября
Москва
Компания "Wargaming St. Petersburg (Lesta Studio)" Lesta Games разрабатывает игровые проекты в различных жанрах, смело экспериментирует с...
05 Октября
DevOps engineer( Единая электронная торговая площадка, АО (группа ВТБ) )
Москва
от 210 000 руб.
Компания "Единая электронная торговая площадка, АО (группа ВТБ)" Росэлторг — площадка и сервисы для закупок. Мы делаем процедуры удобнее,...
05 Октября
Москва
Компания "Mail.ru Group" Наша команда помогает расти компаниям любого масштаба. Нам это удаётся благодаря опыту развития интернета и технологий...
Вакансия размещена в отрасли