Data engineer (SBI)

23 Ноября

Партнерские Вакансии

Компания "Сбербанк"

Цель создания продукта - построение международного стратегического проводника для компании, который будет обладать способностью анализировать и оценивать для компании важность международных событий, проводить оценку влияния на международную стратегию и анализировать потенциальные ниши на международных рынках для компании, с учетом знаний в области геополитики, геоэкономики, международной стратегии, стратегии компании и его ДЗО.

Для реализации платформы создается модуль для автоматического сбора данных из различных источников: новостные сайты, агрегаторы данных, неструктурированные источники и подготовка данных для последующей обработки с использованием ИИ технологий.

Обязанности

• участие в разработке архитектуры решения в части хранения и обработки данных (структурированных/ неструктурированных)
• участие в проектировании платформы, решение сложных исследовательских задач по реализации никем ранее не реализованного функционала
• проработка и реализация интеграций потоков данных со смежными системами
• разработка и проектирование модели данных, потоков данных, алгоритмов загрузки и обработки данных
• разработка и оптимизация ETL, обеспечение производительности и стабильности, при необходимости участие в анализе инцидентов
• организация оптимального процесса разработки
• участие в приемке системы.

Требования

• опыт работы в области Data engineer от 2 лет
• знание SQL – сложные запросы, Joinы, агрегаты, группировки, вложенные запросы, рекурсивные запросы
• уверенное владение PostgreSQL – проектирование, оптимизация, нормализация данных. Понимание структуры реляционной БД: ключи, индексы, связи, масштабирование нагрузки
• опыт парсинга информации с сайтов
• опыт построения автоматизированных процедур загрузки данных и работы с ETL инструментами
• уверенное знание python и работы с библиотеками работы с данными
• опыт работы с Hadoop (Hive, Spark, HBase, HDFS), векторными и графовыми БД является плюсом
• опыт работы с инструментами для организации и автоматизации работы: Jira, Confluence, Bitbucket
• понимание методологии Agile и DevOps
• владение английским языком на уровне чтения технической документации.

Условия

• комфортный современный офис рядом с м. Кутузовская
• гибридный формат работы
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека для всех сотрудников выгоднее до 4 %
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.