Технический менеджер проектов в области хранения и обработки данных

28 Октября

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Компания "Яндекс"

Яндекс — одна из немногих компаний в мире, оперирующих экзабайтами данных, которые нужно уметь эффективно хранить, обрабатывать и передавать между различными системами. Для решения этих задач мы создали и развиваем распределённую платформу хранения и обработки данных YTsaurus. Недавно мы выложили код платформы в открытый доступ. Практически каждый сервис Яндекса использует её для хранения и обработки данных.

Одной из важных частей YTsaurus является SPYT — Apache Spark в качестве compute-движка поверх данных в YTsaurus. SPYT активно используют внешние и внутренние сервисы (например, для запуска ETL-процессов и ad-hoc аналитики).

Отличительная особенность SPYT — глубокая интеграция между Apache Spark и YTsaurus, которая позволяет учитывать метаданные для эффективной обработки. Так, SPYT поддерживает транзакции YTsaurus и применяет знание о сортировке таблиц для исключения shuffle-фазы при выполнении операции JOIN. Помимо этого SPYT использует YTsaurus в качестве среды исполнения для запуска кластеров Spark в облачной манере, благодаря чему в YTsaurus одновременно могут работать десятки кластеров SPYT.

Мы ищем технического менеджера проектов, который поможет нам развивать SPYT и будет заниматься сложными и амбициозными задачами. Примеры вызовов, которые стоят перед нами:

  • сделать SPYT инструментом номер один для ETL- и ELT-процессов поверх YTsaurus;
  • выстроить процесс поддержки и обмена опытом пользователей SPYT внутри Яндекса;
  • исследовать современные практики использования Apache Spark on-premise и в облаках и применять их в SPYT.

Мы — команда увлечённых людей, любим вызовы и готовы делиться знаниями. Приходите, если вам интересно развивать высоконагруженный инфраструктурный сервис и популяризовать YTsaurus как опенсорс-продукт.

Какие задачи вас ждут

  • вести внутренние инфраструктурные проекты, а в перспективе отвечать за один из ключевых для компании инфраструктурных сервисов;
  • участвовать в интеграционных проектах вместе с несколькими командами разработки, эксплуатации и тестирования;
  • общаться с внутренними пользователями и участвовать в формировании лучших практик использования инфраструктуры;
  • управлять процессом разработки и отвечать за его соответствие планам и требованиям;
  • критически анализировать рабочие процессы, находить проблемные места, предлагать и внедрять улучшения;
  • плодотворно сотрудничать с разработчиками и пользователями инфраструктуры.

Мы ждем, что вы

  • имеете опыт управления проектами и продуктами;
  • имеете опыт работы с командой разработчиков;
  • непосредственно разрабатывали программное обеспечение;
  • умеете расставлять приоритеты и решать задачи в срок;
  • умеете управлять обсуждениями и фиксировать результаты;
  • умеете составлять FAQ и пользовательскую документацию;
  • точно и внятно выражаете свои мысли устно и письменно, разговариваете с разработчиками на одном языке;
  • коммуникабельны;
  • имеете техническое или математическое высшее образование;
  • хотите стать экспертом в области инфраструктуры распределённых систем;
  • последний год работали в аналогичной должности.

Будет плюсом, если вы

  • понимаете основные принципы построения распределённых систем хранения и обработки данных;
  • работали с Hadoop, Spark или другими распределёнными системами хранения и обработки данных;
  • пишете на Python или любом другом языке программирования;
  • умеете писать SQL-запросы.
Похожие вакансии

13 Ноября

Менеджер проекта( RVISION )

Москва

от 100 000 руб.

Компания "RVISION" Обязанности: 1. Поиск потенциальных партнеров-CMS: Мониторинг рынка и идентификация перспективных CMS для сотрудничества....

Отправить резюме подробнее

13 Ноября

Разработчик ETL / Инженер Данных

Москва

Компания "РСХБ-Интех" ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Построение витрин данных для работы АСРМ, оптимизация и развитие на уровне данных в...

Отправить резюме подробнее

13 Ноября

Тестировщик хранилищ данных

Москва

Компания "РСХБ-Интех" РСХБ-Интех — аккредитованная IT-компания. Мы разрабатываем новые банковские продукты Россельхозбанка и улучшаем текущие....

Отправить резюме подробнее

13 Ноября

ГИП/Руководитель технического отдела (водоснабжение, канализация)

Москва

от 180 000 руб.

Компания "ТД, Инженерное оборудование" Компания ООО «ТД «Инженерное оборудование»- производитель лучших отечественных установок для очистки...

Отправить резюме подробнее

13 Ноября

Технический директор (ПВХ и алюминиевых конструкции)

Москва

от 130 000 до 170 000 руб.

Компания "СПК Нико" Руководитель проекта/Заместитель руководителя/Технический директор (главный инженер) Обязанности: -Реализация объектов...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: