Data Engineer в Отдел разработки инструментов и аналитики данных

24 Ноября 2024

Сбербанк

Город:

Москва

Занятость:

Полная занятость

Откликнуться

Компания "Сбербанк"

В команду дата-инженеров (DE) Блока Финансы требуется специалист по работе с большими данными. Мы готовим и выгружаем данные для дата-саентистов (DS) Блока Финансы для обучения моделей машинного обучения. Как следствие, работаем по интересным задачам исследования данных с широким спектром данных: все розничные и корпоративные банковские продукты, экосистемные данные (продукты, клиенты, операции), что заметно развивает кругозор и профессиональную эрудицию наших сотрудников.

Мы много работаем с большими объемами данных (таблицы по 20Тб), даем опыт работы с современным техстеком, который востребован в корпоративных хранилищах данных и исследованиях данных: Hadoop, SPARK, Python, GreenPlum (Postgre).

Работаем в тесной кооперации с бизнес-аналитиками и дата-саентистами, чтобы максимально быстро доставить необходимые данные.

Обязанности

Сбор требований к данным, понять зачем нужны данные заказчику, как будет использовать
Поиск данных, анализ корректности и соответствия бизнес-задаче
Проверка качества данных
Выгрузка данных (ETL), разработка витрин, оптимизация при необходимости

Требования

Обязательно: опыт разработки SQL-запросов или SPARK API
Желательно (будет плюсом):
Опыт разработки сложных SQL-запросов (несколько и более таблиц >100млн строк, использование аналитических функций)
Знание банковских продуктов и опыт работы с банковскими данными (физические и юридические лица)
Опыт сбора и документирования требований
Опыт работы (написание и оптимизация запросов, проектирование витрин и т.п.) на классических СУБД (Teradata, Oracle, MS SQL, My SQL, Postgre и т.п.)
Опыт работы на Hadoop(Hive\Impala) и\или SPARK
Опыт проектирования и внедрения СУБД или DWH или BI
Опыт разработки отчетности

Условия