Data Engineer (DWH)( Excdev )
16 Октября 2024
от 180 000 до 300 000 руб.
Город:
Москва
Занятость:
Полная занятость
Компания "Excdev"
Ищем опытного аналитика данных. Если вы в поиске работы в стабильной компании с духом стартапа, приглашаем в нашу команду!
Чем предстоит заниматься:
- Разработка, тестирование и оптимизация ETL процессов для загрузки данных в DWH.
- Интеграция данных из различных источников (ERP, Web API) с использованием Apache Airflow.
- Разработка и поддержка потоков данных с использованием Kafka.
- Парсинг данных из интернета, их очистка и нормализация для использования в DWH.
- Работа с PostgreSQL и ClickHouse для хранения и обработки данных.
- Автоматизация процессов обработки данных и обеспечение их надежности.
- Участие в проектировании архитектуры DWH и поддержка существующих решений.
- Взаимодействие с командами аналитиков и BI для обеспечения корректности данных.
Наши ожидания от кандидата:
- Высшее математическое или техническое образование;
- Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов;
- Опыт разработки ETL процессов и работы с инструментами ETL (например, Apache Airflow).
- Глубокие знания SQL и опыт работы с реляционными базами данных (PostgreSQL).
- Опыт работы с ClickHouse и понимание его архитектуры.
- Опыт работы с Apache Kafka для интеграции и передачи данных.
- Навыки парсинга данных из интернета (например, с использованием Python, BeautifulSoup,Scrapy).
- Знание принципов и практик управления данными и архитектуры DWH.
- Опыт работы с большими данными и понимание их особенностей.
- Навыки оптимизации производительности запросов и процессов.
Будет огромным плюсом:
- Опыт работы с инструментами BI (Superset, Power BI, Tableau).
- Опыт работы с Python и знание его экосистемы для работы с данными.
- Опыт работы в среде DevOps и облачных технологиях (AWS, GCP, Azure).
Условия:
- удаленный формат работы,5/2 с 10.00 до 19.00 по московскому времени;
- возможность работать из любого города или из любой страны;
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
09 Октября
Москва
Компания "WILDBERRIES" Мы в Wildberries решаем сложные и разнообразные задачи: от повышения защищенности каждого сервиса до развития...
11 Октября
Middle+/Senior DevOps engineer
Москва
Компания "МаксимаТелеком" Что нам нужно: Координация команд разработки и системных инженеров для сборки и поставки релизов на нескольких...
09 Октября
Data Scientist NLP Middle/Middle+( Лаборатория Наносемантика )
Москва
от 180 000 руб.
Компания "Лаборатория Наносемантика" «Наносемантика» — ведущий разработчик технологий искусственного интеллекта. Мы являемся крупнейшим...
11 Октября
Fullstack QA engineer / Инженер по тестированию (TATLIN.UNIFIED)
Москва
Компания "КНС ГРУПП" R&D центры расположены в Москве, Санкт-Петербурге, Нижнем Новгороде и Минске, есть собственное производство в Московской...
11 Октября
Software Engineer C/C++ (Chinese company)
Москва
Компания "Awara" Our client, a chinese company Xiamen Yaxon Networks Co. Ltd. It is one of the TOP 3 among GPS tracker factories in China....
Вакансия размещена в отрасли