Дата Инженер

Разрабатывал и внедрял масштабируемые пайплайны обработки данных с использованием Apache NiFi и Python для трансформации данных из различных источников;
Создавал сложные хранимые процедуры и функции на pgSQL для оптимизации операций с данными и реализации бизнес-логики;
Сотрудничал с бизнес-аналитиками для выявления потребностей в отчетности и их преобразования в эффективные модели данных;
Реализовал поддержку медленно меняющихся измерений (SCD) для отслеживания исторических изменений в данных;
Проектировал и внедрял DAG'и в Apache Airflow для автоматизации задач обработки данных;
Настроил системы мониторинга и оповещений для обеспечения стабильной работы пайплайнов.

Я работал в небольшой международной команде инженеров данных и количественных аналитиков, принимая участие во множестве процессов, включая:
построение и поддержку пайплайнов для загрузки и обработки данных;
выявление признаков и проблем в данных;
взаимодействие с трейдерами и исследователями: сбор требований, анализ болевых точек.
Кроме того, я инициировал и возглавил ряд проектов, которые значительно повысили эффективность и надежность нашей дата-инфраструктуры:
помог перейти на Apache Airflow для оркестрации пайплайнов данных. Это дало нам большую прозрачность и контроль, позволив сократить время на отладку и исключить лишние операции;
руководил переработкой моделей данных с использованием продвинутых подходов, таких как размерное моделирование по Кимбелл. Это ускорило выполнение запросов и упростило анализ данных конечными пользователями. Благодаря этому трейдеры и аналитики смогли быстрее находить инсайты и принимать более обоснованные решения.