Data Engineer
200 000 руб
Артем
Возраст
30 лет (29 Ноября 1995)
Город
Москва
Возможен переезд в другой город
Гражданство
Россия
Полная занятость
2 года 4 месяца
Строительство / Недвижимость
Data Engineer в команде разработки и поддержки data-пайплайнов: работаю с Airflow, Spark, Greenplum, PostgreSQL, ClickHouse и S3/MinIO, участвую в построении ETL/ELT-процессов и оптимизации обработки данных.
- Разрабатывал и поддерживал DAG’и в Airflow для регулярной загрузки технических данных от заказчиков через API в S3, с последующей обработкой в Pandas и Spark и загрузкой в PostgreSQL
- Построил пайплайн контроля качества данных (Airflow, Python, Pandas, SQL, Spark): сравнение версий проектной документации, детектирование расхождений координат и высот, валидация объёмов материалов.
- Обрабатывал и хранил крупные Parquet файлы (до 1 ГБ за сутки): организовал хранение в S3, загружал при помощи Spark в Greenplum для последующей обработки
- Построил витрины в ClickHouse и Greenplum для анализа объёмов выполненных работ: расчёт остаточных объёмов, прогноз потребности в материалах, динамика выполнения
- Повысил надёжность пайплайнов за счёт идемпотентной загрузки данных, ретраев в Airflow, логирования ошибок и проверок качества на промежуточных этапах.
- Оптимизировал SQL‑запросы: сократил время выполнения тяжёлых выборок за счёт переработки JOIN‑ов, индексации и анализа плана выполнения (EXPLAIN ANALYZE).
Высшее
Иркутск, 2013 — 2017 гг.
Школа 21
Школа 21 (Программист)
Английский — Разговорный
Ориентирован на построение и поддержку систем обработки данных: Data Lake, Data Lakehouse и Data Warehouse. Работал с пайплайнамина Airflow, Spark, S3, ClickHouse, PostgreSQL и Greenplum. Интересуюсь архитектурой хранилищ, оптимизацией SQL, распределённой обработкой данных и построением надёжных ETL/ELT‑процессов.
Подходящие типы занятости: ТК, ИП, ГПХ.
Telegram: Ortyum
21 мая, 2026
50 000 руб
Ринат Максимович
Город
Москва local_shipping
Возраст
30 лет (14 августа 1995)
Опыт работы:
Без опыта
29 апреля, 2023
100 000 руб
Денис
Город
Москва, м. Новокосино
Возраст
56 лет (27 сентября 1969)
Опыт работы:
3 года и 6 месяцев
Последнее место работы:
Data scientist, Фрилансер
11.2022 - по текущее время
18 апреля, 2016
Владимир Олегович
Город
Москва, м. Мякинино
Возраст
42 года (16 июня 1983)
Опыт работы:
13 лет и 6 месяцев
Последнее место работы:
Разработчик Oracle, ООО "БСТ Софт"
05.2015 - по текущее время
Резюме размещено в отрасли