Компания "Московская Биржа"
ЗАДАЧИ:
• Агрегация и анализ больших данных из разных систем НРД
• Разработка и поддержка аналитических dashboard-ов для руководства и сотрудников НРД. с использованием инструментов анализа и визуализации данных.
• Разработка и поддержка процессов ETL с использованием Apache NiFi/Airflow.
• Интеграция различных источников данных и обеспечение их качества.
• Автоматизация процессов сбора, обработки и загрузки данных. • Описание ETL-процессов и создание технической документации в wiki и в коде.
• Исследование новых инструментов для создания dashboard-ов и визуализации данных
ПО:
• Apache NiFi/Airflow)
• Apache Superset
• FineBI
• Grafana
• Python
• Docker
• Bash
• Postgress
• Dbeaver/ pgAdmin
ТРЕБОВАНИЯ:
• Опыт работы с инструментами построения аналитики и dashboard-ов (Grafana, Apache Superset, FineBI (PowerBI))
• Понимание процедур ETL/ELT (Extract, Transform, Load).
• Знание и опыт работы с Apache NiFi/AirFlow.
• Опыт работы с базами данных, SQL и технологиями хранения данных
• Опыт работы с большими данными и распределенными системами.
• Знание принципов построения надежных и отказоустойчивых ETL-процессов.
• Навыки написания скриптов на языке программирования Python.
• Навыки работы с библиотеками pandas, numpy, scipy, matplotlib, seaborn, statsmodels, scikit-learn, streamlit
• Знание основ статистики – типы распределений, критерии, способы анализа данных (корреляционный анализ).
• Опыт работы с системами контроля версий (в компании используется Gitlab).
Будут преимуществом:
• Навыки развертывания простых проектов (MVP)
• Опыт работы с CI/CD системами
• Знание контейнерных технологий (Docker, Kubernetes).
• Знание систем мониторинга и логирования (Prometheus, Grafana, ELK stack).
13 Ноября
Разработчик ETL / Инженер Данных
Москва
Компания "РСХБ-Интех" ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Построение витрин данных для работы АСРМ, оптимизация и развитие на уровне данных в...
13 Ноября
Москва
Компания "РСХБ-Интех" РСХБ-Интех — аккредитованная IT-компания. Мы разрабатываем новые банковские продукты Россельхозбанка и улучшаем текущие....
13 Ноября
Системный аналитик (новый продукт «Маркетинговый комбайн»)( HFLabs )
Москва
от 300 000 до 350 000 руб.
Компания "HFLabs" HFLabs — полностью российская IT-компания. Работаем с 2005 года. Имеем аккредитацию Минцифры, наши продукты входят в реестр...
13 Ноября
Аналитик данных Middle / Data Analyst
Москва
от 150 000 до 250 000 руб.
Компания "Автоматизация и Консалтинг" На данный момент мы ищем Middle Data Analyst в "Даталаб" в команду антифрод на проект крупного сетевого...
13 Ноября
Руководитель направления по аналитике (Коммерческое направление)
Москва
Компания "Диакон" Уважаемые коллеги, Приглашаем вас присоединиться к команде ГК "ДИАКОН"! Мы высоко ценим желание развиваться и...
Вакансия размещена в отрасли