Инженер (Feature Store)

02 Февраля

до 310 000 руб.

Фурми Софт

Задачи:
• Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации информации из ИТ-систем банка.
• Решение комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для формирования признаков, необходимых для разработки моделей машинного обучения.
• Разработка и актуализация документации по созданному функционалу.
• Своевременное обновление статуса выполнения задач в Jira.
• Проведение проверки качества кода (код-ревью), написанного инженерами и младшими специалистами по данным.
• Создание ETL-проектов и развитие Feature Store.

Мы ищем:
1. Python: уверенное владение структурами данных и алгоритмами, эффективное применение принципов объектно-ориентированного и функционального программирования, опыт написания модульных и интеграционных тестов, а также знание и практическое использование библиотек для обработки и анализа данных, таких как NumPy и Pandas.
2. Опыт разработки и внедрения в промышленную эксплуатацию сервисов для загрузки и обработки неструктурированных и слабо структурированных данных (текст, XML, JSON) из внешних источников.
3. Способность работать с API поставщиков данных, используя доступную документацию для понимания их функционала.
4. SQL: умение создавать сложные запросы с использованием аналитических оконных функций и применение инструментов профилирования для оптимизации производительности запросов, опыт работы с базами данных Oracle, PostgreSQL и Greenplum.
5. Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) для пакетной обработки данных, такими как Airflow.
6. Опыт разработки сложных высоконагруженных приложений для обработки данных на основе PySpark, уверенное понимание настроек Spark и их влияния на производительность приложений.