Компания "Aston"
Аутсорсинговая аккредитованная IT-компания Aston приглашает стать частью команды. Мы работаем на рынке с 2007 года, а штат насчитывает 2500+ сотрудников.
Предоставляем услуги по разработке программного обеспечения и IT-аутсорсинга предприятиям, организациям и стартапам. Компания активно развивается в доменах: Finance, Healthcare, eCommerce, IoT, Media and Entertainment, Big Data, Machine learning, Deep learning.
Заказчик:
Ведущий российский продуктовый ритейлер. Компания управляет несколькими форматами розничной торговли: сеть бесконтактных магазинов под брендом «Пятерочка», сеть супермаркетов под брендом «Перекресток», сеть гипермаркетов под брендом «Карусель», интернет-супермаркет Perekrestok.ru и служба доставки 5Post. Также компания занимается доставкой посылок из интернет-магазинов в свои точки выдачи. Они уже работают с Aliexpress, Joom, OZON и активно подключают новые магазины.
Обязанности:
помогать коллегам Data Scientist в оптимизации их работающих пайплайнов, проявляя проактивность с предложениями по оптимизации;
взаимодействовать с коллегами DevOps по настройке окружений, деплою кода и работе с инфраструктурой компании;
настраивать и поддерживать стенды, с которых запускаются задания;
общаться с коллегами DQ, выяснять детали наполнения данных и участвовать в составлении БТ к данным;
писать ETL пайплайны;
решать неожиданные проблемы с данными и задержками их доставки;
настраивать мониторинг разнообразных процессов.
Требования:
опыт работы в роли Data Engineer от 3-х лет;
опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP;
опыт оптимизаций sql-запросов и понимание оптимизаций на уровне Spark Catalyst;
опыт работы с MPP базами данных;
опыт работы с Airflow;
опыт работы с Postgres и Clickhouse;
опыт работы с Kubernetes (K8S);
опыт Devops: Docker, Gitlab-CI, настройка окружения на серверах и др.;
опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными;
опыт работы с операционной системой Linux;
уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0: структуры данных, алгоритмы, концепции языка;
уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;
знание и практический опыт использования Pandas и NumPy для продвинутой аналитики;
глубокие теоретические знания стека технологий и практический опыт: Spark, Hadoop, Hive.
Что мы предлагаем?
Хорошая зарплата
Развитие в профессии
Комфорт и свобода
Обучение
Социальный пакет
Корпоративная жизнь
Адреса наших офисов
13 Ноября
Calendar planning systems development engineer( Инфраструктура ТК )
Москва
Компания "Инфраструктура ТК" LLC "Infrastructure TK" is an engineering and service organization in the field of high-tech solutions for...
13 Ноября
Инженер по информационной безопасности (мониторинг инцидентов)
Москва
Компания "Компания ТрансТелеКом" Компания ТрансТелеКом (ТТК) входит в пятерку ведущих российских операторов связи. Компания ТТК имеет...
13 Ноября
Москва
от 130 000 руб.
Компания "Гамма-Центр (банковское оборудование)" ТОРГОВО-ПРОИЗВОДСТВЕННАЯ КОМПАНИЯ "ГАММА-ЦЕНТР" - это лидер и ведущий поставщик комплексных...
13 Ноября
Старший сетевой инженер / руководитель отдела
Москва
от 300 000 руб.
Компания "АйПильсин" Должностные обязанности: Управление и развитие комплекса серверов и сети оператора связи. Мониторинг...
13 Ноября
Главный инженер по тестированию - направление ЕФР( РСХБ-Интех )
Москва
Компания "РСХБ-Интех" РСХБ-ИНТЕХ — аккредитованная IT-компания и digital-сердце Россельхозбанка. Мы разрабатываем новые банковские продукты...
Вакансия размещена в отрасли