Junior Data Engineer

21 Марта

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Компания "ЭКОПСИ Консалтинг"

ЭКОПСИ Консалтинг – лидер рынка управленческого и HR-консалтинга в России. У нас работают люди, возглавляющие списки самых авторитетных и востребованных экспертов в области управления персоналом в стране.
Наши клиенты – компании из ТОП-100 РБК, 9 из 10 крупнейших компаний России, более 30-ти лет успешно реализуем масштабные проекты для компаний 20+ отраслей бизнеса России и СНГ.

Мы создаем современную платформу для глубокой аналитики данных проведенных исследований. Вам предстоит стать ключевым участником команды, которая разрабатывает отказоустойчивое и масштабируемое хранилище данных (Data Lakehouse), объединяющее тысячи гигабайт новых данных из ClickHouse с историческими данными из различных источников. Мы предлагаем возможность работать с современным стеком технологий на реальной задаче построения хранилища данных с нуля. Вам предстоит решать интересные инженерные задачи и напрямую влиять на архитектурные решения.

Обязанности:

  • Разработка и поддержка ETL/ELT-процессов: создание, оптимизация и сопровождение надежных конвейеров данных для загрузки, очистки, трансформации и обогащения информации из разнородных источников;
  • Участие в построении архитектуры хранилища: реализация и поддержка концепции слоев данных с использованием современных табличных форматов и облачных хранилищ;
  • Работа с потоковыми данными: участие в проектировании и настройке компонентов для приема и обработки потоковых событий;
  • Оптимизация и мониторинг: обеспечение производительности и стабильности конвейеров. Выявление «узких мест», оптимизация запросов и процессов обработки данных;
  • Взаимодействие с командами: тесная работа с аналитиками данных, дата-сайентистами и разработчиками платформы для понимания потребностей и согласования моделей данных.

Требования:

Обязательно:

  • Базовый опыт (1-3 года) в роли Data Engineer или в смежной области (аналитика данных, разработка БД);
  • Уверенное знание SQL (PostgreSQL и пр.): самостоятельно проектирование БД, написание сложных запросов с CTE и оконными функциями, интеграция в ETL-пайплайны;
  • Опыт разработки на Python 3.13+ (библиотеки Pandas, PySpark). - Docker: Multi-stage сборка образов, оптимизация размера контейнеров (например, использование scratch).

Желательно:

  • Опыт работы с ClickHouse: Знание специфики, оптимизация запросов, понимание движков таблиц;
  • Расширенные навыки Python 3.13+: Глубокое знание новых функций (паттерн-матчинг, улучшения асинхронного кода), оптимизация производительности через async/await и контекстные менеджеры;
  • Понимание принципов ETL/ELT и опыт построения конвейеров данных;
  • Опыт работы с одним из распределенных движков обработки: Apache Spark (включая Spark SQL, DataFrames) или аналоги;
  • Kafka: Потоковая обработка данных через Kafka, настройка консюмеров и продюсеров;
  • Опыт миграции унаследованных данных из форматов (Excel, CSV) в структурированные хранилища.

Для нас важно:

  • Способность самостоятельно принимать и предлагать решения, а не просто выполнять задачи;
  • Умение переводить бизнес-требования в технические спецификации (например, преобразование описания метрик в алгоритм сбора и трансформации данных);
  • Знание основ статистики и математики для анализа данных;
  • Активность и готовность учиться новым технологиям.

Что мы предлагаем:

  • Культуру свободы и ответственности. Мы любим талантливых, высоко результативных людей и даём им «карт-бланш» для работы и творчества;
  • Интересные и разнообразные проекты — скучно не будет;

  • Работу в творческом коллективе — «интеллектуальный бульон», где легко рождаются новые идеи;

  • Постоянное развитие – мы не боимся делать то, что раньше не пробовали;

  • Гибкий график работы, гибрид после 6 месяцев работы, стильный комфортный офис на м. «Дмитровская»;

  • ДМС после испытательного срока.

Похожие вакансии

16 Марта

Data Scientist / ML-инженер

Москва

Компания "Федеральная сеть книжных магазинов Читай-город" Читай-технологии - аккредитованная IT-компания. Мы делаем самую технологичную сеть...

Отправить резюме подробнее

16 Марта

Frontend Engineer

Москва

до 150 000 руб.

Компания "Серверные Технологии" Обязанности: Разрабатывать и поддерживать качественные UI‑компоненты Разрабатывать AI‑интерфейсы...

Отправить резюме подробнее

16 Марта

Младший Android-разработчик (Junior Android developer)

Москва

от 80 000 руб.

Компания "Панина Анастасия Александровна" Мы ищем не просто исполнителя, а единомышленника, который горит платформой Android так же, как и мы....

Отправить резюме подробнее

16 Марта

Junior аналитик-разработчик, Группа анализа данных и цифровых решений

Москва

Компания "KPMG" О команде Наша команда занимается автоматизацией внутренних процессов в отделе Инвестиций и Рынков Капитала и на уровне всей...

Отправить резюме подробнее

17 Марта

Middle/Senior DevOps Engineer [МТС Веб Сервисы]

Москва

Компания "МТС" МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса:...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: