Data engineer GigaData

06 Марта

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Компания "Сбербанк"

Проект: Создаем поисковый сервис для ответа на запросы пользователей на естественном языке. Ломаем барьер между статичными знаниями языковой модели и постоянно меняющимся миром. Предоставляем GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы, включая вопросы о свежих новостях и событиях.

Обязанности

  • разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства
  • разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования в задачах поиска
  • проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи поиска
  • применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых.

Требования

  • опыт работы с движками для распределенной обработки данных (Spark, Trino), оркестраторы Airflow
  • умение проектировать DWH, Data Lake, Data Management Platform
  • опыт построения и развития высоконагруженных систем
  • опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+)
  • продвинутый уровень владения Python и SQL

БУДЕТ ПЛЮСОМ:

  • опыт работы с таблицами формата Iceberg
  • опыт работы с индексами ElasticSearch/OpenSearch
  • опыт работы с GPU (инференс моделей).

Условия

  • комфортный современный офис - м. Кутузовская
  • ежегодный пересмотр зарплаты, годовой бонус
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера
  • корпоративная пенсионная программа.
Похожие вакансии

03 Марта

Senior MLOps Engineer( WILDBERRIES )

Москва

Компания "WILDBERRIES" Мы — ML команда финансовых продуктов Wildberries. Создаем масштабные end-to-end ML решения и развиваем высоконагруженную...

Отправить резюме подробнее

03 Марта

AQA Engineer (автоматизация, TypeScript/JavaScript)

Москва

Компания "ITFB Group" ITFB —российская аккредитованная IT компания. У нас более 100 клиентов, занимающих лидирующие позиции в своих отраслях,...

Отправить резюме подробнее

03 Марта

Data Engineer/Дата-инженер

Москва

Компания "ZOLLA" Компания Zolla – крупная федеральная сеть магазинов мужской и женской одежды в связи с расширением отдела ищет себе в...

Отправить резюме подробнее

03 Марта

Senior Data Engineer

Москва

Компания "TUI Russia & CIS" Чем предстоит заниматься: Настройка инфраструктуры Разработка первых пайплайнов для интеграции с источниками...

Отправить резюме подробнее

04 Марта

QA Engineer (Manual + Automation, KYC / ID Verification / Biometrics)

Москва

Компания "Сальникова Ксения Григорьевна" B2B-платформа для KYC/IDV с продакшен-трафиком: document verification, OCR/KIE, biometric verification...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: