Data Engineer( STARTRIBE LTD )

07 Декабря

Партнерские Вакансии

Город:

Москва

Занятость:

Полная занятость

Компания "STARTRIBE LTD"

Крупная продуктовая IT-компания находится в поисках опытного Data Engineer для разработки решений процессинга больших объемов данных (объем 3+ PB, прирост 1+ PB/year) в составе команды Data Platform Team.


Задачи:

  • Проектирование процессов хранения и процессинга данных (batch, stream);
  • Проектирование архитектуры реляционных и noSQL БД;
  • Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB;
  • Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности.

Обязательные требования:

  • Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных;
  • Понимание принципов работы кластерных решений и способов достижения требуемой производительности;
  • Понимание назначения и различий форматов хранения данных;
  • Знания SQL на высоком уровне (ClickHouse, PostgreSQL);
  • Знание Python (PySpark);
  • Знания и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов);
  • SPARK;

Будет большим преимуществом:

  • Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
  • Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake, Delta Lake);
  • Опыт работы с Presto, Trino, Star Rocks DB;
  • Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions);
  • Опыт работы с Data Lakehouse форматами данных;
  • Опыт разработки с использованием Flink.

Условия, предоствляемые с нашей стороны:

  • Полный релокационный пакет при переезде на Кипр, в г. Лимасол;
  • Помощь в поиске постоянного жилья на Кипре сотрудниками нашего hospitality отдела;
  • Оформление разрешения на работу для вас и ВНЖ для членов вашей семьи;
  • Возможность брать беспроцентную ссуду у компании в случае крупных покупок;
  • Гибкий рабочий график;
  • Творческая атмосфера в коллективе;
  • Завтраки и обеды в офисе - за счет компании;
  • Бонусы по результатам работы и годовой бонус по итогам работы за год;

  • Компенсация профессионального образования и уроков английского;

  • Достойный доход, соответствующий вашей квалификации;

  • Прекрасные корпоративные мероприятия с большим размахом;

  • Широкие возможности роста и развития.

Похожие вакансии

05 Декабря

Data Engineer( БУРГЕР КИНГ РОССИЯ )

Москва

Компания "БУРГЕР КИНГ РОССИЯ" Компания BURGER KING® приглашает в команду Data Engineer. Присоединяйся к нам на вакансию в офис: с тебя –...

Отправить резюме подробнее

05 Декабря

Data Scientist( ИК СИБИНТЕК )

Москва

Компания "ИК СИБИНТЕК" Обязанности: Анализ данных для моделирования (подготовка, обработка, анализ качества); Проработка архитектуры...

Отправить резюме подробнее

05 Декабря

QA Engineer / Тестировщик ПО (Manual+Auto)

Москва

от 120 000 до 200 000 руб.

Компания "ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ" Ищем амбициозного специалиста по тестированию на постоянную работу в успешный IT-проект. Мы разрабатываем...

Отправить резюме подробнее

05 Декабря

Data engineer (Oracle)

Москва

Компания "Неофлекс" СТЕК: Oracle, PL/SQL, ETL, SQL ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ: Развитие продукта Neoflex Reporting; Организация...

Отправить резюме подробнее

05 Декабря

DevOps Engineer( Факторинг Плюс )

Москва

Компания "Факторинг Плюс" Амбициозная команда профессионалов, которая разрабатывает сервисы для малого и среднего бизнеса с использованием...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: