Data Engineer в команду рекламных технологий
01 Октября 2024
Город:
Москва
Занятость:
Полная занятость
Компания "Mail.ru Group"
Наш департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. У нас в команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 75 петабайтов.
Задачи:- проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
- участвовать в развитии системы для создания и использования ML-моделей;
- исследовать и интегрировать в продукт новые источники данных;
- создавать витрины признаков для ML-моделей.
- знание алгоритмов и структур данных;
- умение писать качественный, поддерживаемый код на Scala, Python, SQL;
- опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
- знакомство с Bash, Git, Linux, Docker;
- опыт работы с терминалом по SSH.
Будет плюсом:
- умение использовать Luigi, Airflow, Kafka;
- опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
- знание Java и нюансов JVM;
- понимание классических ML-моделей, задач и методов DS.
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
29 Сентября
Технолог химчистки/пятновыводчик/пятновыводчица
Москва
от 75 000 руб.
Компания "Химчистка № 1" Химчистка премиум класса, приглашает соискателей на должность технолог/пятновыводчик. Наши сотрудники –...
29 Сентября
Начальник управления конвейерных технологий( Совкомбанк )
Москва
Компания "Совкомбанк" Совкомбанк - системно значимый банк России и "золотой" работадатель по версии Forbes. Что мы ждем от тебя:...
03 Октября
Стажер службы технологии кузова
Москва
до 40 000 руб.
Компания "RENAULT" Уважаемые соискатели! Убедительная просьба в сопроводительном письме или в резюме указывать ожидаемый уровень заработной...
29 Сентября
DevOps Engineer( ЮТэйр, Авиакомпания )
Москва
Компания "ЮТэйр, Авиакомпания" Utair – крупный российский авиационный холдинг. Самолёты Utair обслуживают 140 направлений в России, из них —...
29 Сентября
Специалист по проектированию обустройства зарубежных месторождений (направление Технология)
Москва
Компания "ЛУКОЙЛ" Обязанности: Инженерно-техническая проработка заявок по процедуре Управления изменениями на действующем производстве...
Вакансия размещена в отрасли