Компания "Яндекс"
Яндекс — одна из немногих компаний в мире, оперирующих экзабайтами данных, которые нужно уметь эффективно хранить, обрабатывать и передавать между различными системами. Для решения этих задач мы создали и развиваем распределённую платформу хранения и обработки данных YTsaurus. Недавно мы выложили код платформы в открытый доступ. Практически каждый сервис Яндекса использует её для хранения и обработки данных.
Одной из важных частей YTsaurus является SPYT — Apache Spark в качестве compute-движка поверх данных в YTsaurus. SPYT активно используют внешние и внутренние сервисы (например, для запуска ETL-процессов и ad-hoc аналитики).
Отличительная особенность SPYT — глубокая интеграция между Apache Spark и YTsaurus, которая позволяет учитывать метаданные для эффективной обработки. Так, SPYT поддерживает транзакции YTsaurus и применяет знание о сортировке таблиц для исключения shuffle-фазы при выполнении операции JOIN. Помимо этого SPYT использует YTsaurus в качестве среды исполнения для запуска кластеров Spark в облачной манере, благодаря чему в YTsaurus одновременно могут работать десятки кластеров SPYT.
Мы ищем технического менеджера проектов, который поможет нам развивать SPYT и будет заниматься сложными и амбициозными задачами. Примеры вызовов, которые стоят перед нами:
Мы — команда увлечённых людей, любим вызовы и готовы делиться знаниями. Приходите, если вам интересно развивать высоконагруженный инфраструктурный сервис и популяризовать YTsaurus как опенсорс-продукт.
Какие задачи вас ждут
Мы ждем, что вы
Будет плюсом, если вы
13 Ноября
Москва
от 100 000 руб.
Компания "RVISION" Обязанности: 1. Поиск потенциальных партнеров-CMS: Мониторинг рынка и идентификация перспективных CMS для сотрудничества....
13 Ноября
Разработчик ETL / Инженер Данных
Москва
Компания "РСХБ-Интех" ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Построение витрин данных для работы АСРМ, оптимизация и развитие на уровне данных в...
13 Ноября
Москва
Компания "РСХБ-Интех" РСХБ-Интех — аккредитованная IT-компания. Мы разрабатываем новые банковские продукты Россельхозбанка и улучшаем текущие....
13 Ноября
ГИП/Руководитель технического отдела (водоснабжение, канализация)
Москва
от 180 000 руб.
Компания "ТД, Инженерное оборудование" Компания ООО «ТД «Инженерное оборудование»- производитель лучших отечественных установок для очистки...
13 Ноября
Технический директор (ПВХ и алюминиевых конструкции)
Москва
от 130 000 до 170 000 руб.
Компания "СПК Нико" Руководитель проекта/Заместитель руководителя/Технический директор (главный инженер) Обязанности: -Реализация объектов...
Вакансия размещена в отрасли