18 вакансий data engineer spark в Москве

Data Engineer (Spark)

Москва

Компания "Тинькофф" Команда ETL Performance обладает ключевой экспертизой в области производительности ETL процессов в компании и занимается системным подходом к улучшению метрик процессов регулярного обновления данных, отвечает за эффективную утилизацию ресурсов платформы работой ETL, выработку лучших практик в технологиях целевого стека - Spark + Iceberg/S3 и их трансляцию Требования:...

Senior Spark Data Engineer (Iceberg)

Москва

Компания "Неофлекс" ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу. СТЕК проекта: Apache Spark (Pyspark),...

Data Engineer по сопровождению выпуска финансовой отчетности

Москва

Компания "Альфа-Банк" Чем предстоит заниматься: Сопровождение и анализ существующих процессов загрузки Мониторинг процессов загрузки и выявление аномалий Тестирование и установка доработок в продуктивный контур Разбор обращений пользователей в рамках компетенций второй линии поддержки Проверка технической документации Что мы ждем от вас: Оконченное высшее...

Senior Data Engineer( Outlines Technologies )

Москва

до 380 000 руб.

Компания "Outlines Technologies" Обязанности: Контроль качества данных, внедрение проверок и мониторинг корректности витрин. Разработка и поддержка витрин данных Проектирование и оптимизация SQL-запросов для формирования витрин и проверок качества данных. Взаимодействие с командами продуктовой аналитики и бизнес-подразделениями для уточнения требований. Подготовка документации...

ML Engineer / Data Scientist (персонализация)( МАГНИТ, Розничная сеть )

Москва

Компания "МАГНИТ, Розничная сеть" Работаем над персонализацией для миллионов клиентов — масштаб, данные и влияние чем предстоит заниматься Стрим-персонализация. Uplift-моделирование и оптимизация коммуникаций. Модель контактной политики. Модели склонностей и выбор любимых категорий. ищем того, кто Опыт в построении uplift моделей. Уверенно владеет Python, SQL,...

Senior Data engineer( Альфа-Банк )

Москва

Компания "Альфа-Банк" Чем предстоит заниматься: Разработка и тестирование интеграционных решений на указанном стеке, системный анализ Анализ существующих решений, документаций Создание документаций по разработанным решениям Оптимизация процессов Наши ожидания от кандидата: SQL, Python. Знание Scala\Java будет плюсом Технологический стек: Apache Spark, S3\Minio,...

Data Engineer( Diasoft )

Москва

Компания "Diasoft" О проекте Мы развиваем Фабрику данных — современную платформу для управления корпоративными данными, объединяющую лучшие open-source технологии и собственные решения. Платформа помогает крупным банкам и финансовым компаниям выстраивать Data Lake и витрины данных для аналитики и AI. Проект включает работу с высоконагруженными потоками, интеграцию разных источников (ERP,...

Data Engineer( WeMakeTeam )

Москва

Компания "WeMakeTeam" Описание проекта: Стек проекта: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.RL Требования к кандидату: • знаешь SQL на уровне оптимизации сложных запросов; • знаешь принципы работы классических и MPP-СУБД; • опыт разработки на Python и/или Java, Scala; • опыт оркестрации ETL-пайплайнов с помощью Airflow; • опыт...

Senior Data Engineer / Старший инженер данных( «UZUM TECHNOLOGIES». )

Москва

Компания "«UZUM TECHNOLOGIES»." Чем предстоит заниматься: Участвовать в построении Lake House с единой точкой входа для ad-hoc запросов Улучшать CDC-процессы Ускорять продуктивизацию пользовательских витрин Обеспечивать высокое качество данных Делать Data-продукты, которые влияют на бизнес Улучшать Spark Streaming процессы Оптимизировать self-service дата платформу...

Data Engineer (Риски розничного бизнеса)

Москва

Компания "Сбербанк" Ищем специалиста на позицию Data Engineer для участия в создании и поддержке инфраструктуры данных крупного банка. Будете отвечать за разработку, оптимизацию и поддержку витрин данных, работу с источниками данных и создание эффективных процессов обработки больших объемов информации. Обязанности анализировать источники и метаданные хранилищ Hadoop и Greenplum для...

Senior Data Engineer в VK Видео

Москва

Компания "Mail.ru Group" Ищем DWH Engineer для команды VK Видео — одного из крупнейших и самых популярных видеосервисов в России! Задачи Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд Собирать витрины, оптимизировать Писать адхоки и выгрузки, раздебаги Собирать требования Требования Понимание работы параллельных...

Data Engineer( МегаФон )

Москва

Компания "МегаФон" Мы разрабатываем платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, создающие конкурентное преимущество для бизнеса в области финтеха. Нашими продуктами пользуются 80% банковского сектора России. Мы ищем старшего разработчика на Spark и Scala для участия в создании платформы машинного обучения Чем предстоит заниматься...

Data Engineer (Hadoop)( МегаФон )

Москва

Компания "МегаФон" Чем предстоит заниматься Проектирование и разработка отказоустойчивых ETL/ELT процессов в экосистеме Hadoop и Oracle Оптимизация и сопровождение пайплайнов данных (Spark, PySpark, Airflow) Интеграция новых источников данных и построение витрин для бизнес-заказчиков Обеспечение качества и актуальности данных в продуктивных системах Участие в архитектурных...

Senior Data Engineer в VK Видео( Mail.ru Group )

Москва

Компания "Mail.ru Group" Ищем DWH Engineer для команды VK Видео — одного из крупнейших и самых популярных видеосервисов в России! Задачи Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML-команд Собирать витрины, оптимизировать Писать адхоки и выгрузки, раздебаги Собирать требования Требования Понимание работы параллельных...

Data Scientist / Machine Learning Engineer (специалист по машинному обучению и большим данным)

Москва

Компания "РНГ" Требования: глубокое понимание теоретических основ машинного обучения, математической статистики и методов оптимизации; свободное владение Python и основными библиотеками для data science: * ML-фреймворки: Scikit-Learn, XGBoost/LightGBM/CatBoost * Глубокое обучение: PyTorch и/или TensorFlow * Обработка данных: Pandas, NumPy, Polars; опыт работы с большими данными...

Data Engineer( SberAutoTech )

Москва

Компания "SberAutoTech" Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал. Вакансия подразумевает работу с большими объемами технических данных с использованием...

Data Engineer( Ozon )

Москва

Компания "Ozon" Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline. Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark. Вам предстоит: Проектирование и разработка витрин данных для анализа...

Data Engineer (Динамическое ценообразование)

Москва

Компания "Сбербанк" ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Мы команда — Развитие клиентского опыта B2C. Вас ждет работа с технологическим стеком Hadoop, Apache Spark, Greenplum и др. на проекте, связанном...