Data Engineer

Разработка аналитических решений на Python и SQL: Полный цикл — от сбора требований до реализации. Разработка ETL/ELT-процессов, сервисов и витрин данных.

Углубленное владение SQL (Эксперт):
Проектирование моделей данных и схем хранилищ данных (Data Warehouse) под высокие нагрузки.

Разработка хранилища данных на базе ClickHouse и Greenplum

Опыт работы с колоночными СУБД (ClickHouse) и брокерами сообщений (RabbitMQ,мониторинг Kafdrop) для потоковой передачи данных между микросервисами.

Разработка сложных аналитических запросов с использованием CTE, оконных функций, подзапросов и динамического SQL.

Написание и поддержка серверной логики БД: хранимые процедуры, функции и триггеры на PL/pgSQL.

Работа со сложными типами данных: эффективная обработка структурированных и полуструктурированных данных (JSON, XML) внутри СУБД.

Анализ планов выполнения запросов (EXPLAIN ANALYZE), добавление индексов, партиций и конфигурации СУБД, что позволило ускорить выполнение тяжелых отчетных запросов.

Оптимизация запросов в Greenplum: работа с распределением данных (DISTRIBUTED BY), анализ планов выполнения, оптимизация JOIN между сегментами.

Python (Pandas, NumPy): обработка, очистка и трансформация данных, объединение и агрегация таблиц, работа с пропущенными значениями и дубликатами, подготовка данных для ETL/ELT-процессов, импорт и экспорт данных (CSV, Excel, JSON, Parquet), использование векторизованных вычислений для повышения производительности обработки данных.

Разработка ETL/ELT-процессов и работа с Big Data:
Построение надежных пайплайнов данных для загрузки и трансформации информации в PostgreSQL,Greenplum, Clickhouse.

Разработка высокопроизводительных ETL-решений на базе Spark SQL: обработка и агрегация больших объемов исторических данных, оптимизация джобов через настройку партиционирования, использование широких трансформаций (join, window functions) для построения сложных витрин данных.

Разработал микросервисы, которые получают данные из API, трансформируют их в Python/PySpark и загружают в Greenplum/ClickHouse; использовал Git для контроля версий и командной разработки, упаковал сервисы в Docker-образы и развернул в Rancher (Kubernetes).

Автоматизировал пайплайны обработки данных с помощью Apache Airflow (DAGs) на Python, обеспечивая своевременное и надежное выполнение ETL-задач для формирования актуальных отчетов.

Внедрил dbt тесты данных (уникальность, not null, accepted values) для предотвращения попадания грязных данных в продакшен.

Опыт работы с Kubernetes проектами.

Прочее:
Опыт работы с брокерами сообщений (RabbitMQ, мониторинг Kafdrop) для потоковой передачи данных между микросервисами. Понимание основ работы Apache Kafka (топики, партиции, Consumer/Producer).

Основные обязанности

- Разрабатывал и сопровождал хранимые процедуры, функции, триггеры и SQL-скрипты в PostgreSQL.
- Проектировал и реализовывал объекты корпоративного хранилища данных (DWH): таблицы, представления, материализованные представления, индексы и хранимые процедуры.
- Разработал сквозной ETL-конвейер для загрузки данных из внешних API в аналитическое хранилище: реализовал извлечение данных, загрузку в stage-слой PostgreSQL, последующую трансформацию и загрузку в ClickHouse.
- Автоматизировал процессы загрузки и обновления данных с использованием Apache Airflow, обеспечив стабильное выполнение ETL-пайплайнов по расписанию.
- Разрабатывал сложные SQL-запросы для формирования аналитических витрин и подготовки данных для BI-отчетности.
- Выполнял обработку и преобразование данных в форматах JSON и XML, реализовывал их парсинг и загрузку в реляционные структуры.
- Анализировал производительность SQL-запросов с использованием EXPLAIN ANALYZE, оптимизировал планы выполнения запросов в PostgreSQL и Greenplum.
- Повышал производительность запросов за счет оптимизации JOIN, использования индексов, переработки логики агрегаций, оконных функций и партиционирования таблиц.
- Взаимодействовал с аналитиками и бизнес-заказчиками при разработке новых витрин данных и доработке существующей отчетности.

Достижения

- Спроектировал и внедрил сквозной ETL-конвейер (API → PostgreSQL Stage → ClickHouse DWH), сократив время подготовки аналитических данных и полностью автоматизировав их загрузку.
- Оптимизировал наиболее ресурсоемкие SQL-запросы в PostgreSQL и Greenplum, сократив время их выполнения в десятки и отдельных случаях — в сотни раз.
- Разработал архитектуру аналитических витрин, позволившую ускорить построение отчетности и снизить нагрузку на операционные базы данных.
- Реализовал эффективную стратегию индексирования и оптимизации SQL-кода, существенно уменьшив время выполнения аналитических выборок.
- Автоматизировал ежедневные ETL-процессы в Apache Airflow, повысив надежность и отказоустойчивость загрузки данных.
- Реализовал обработку данных в форматах JSON и XML, обеспечив интеграцию нескольких внешних источников в единое аналитическое хранилище.
- Повысил качество данных за счет внедрения проверок корректности и контроля целостности на этапах загрузки и трансформации.