Big Data Engineer( STARTRIBE LTD )

STARTRIBE LTD

Город:

Москва

Занятость:

Полная занятость

Компания "STARTRIBE LTD"

Крупная продуктовая IT-компания находится в поисках опытного Big Data Engineer для разработки решений процессинга больших объемов данных (объем 3+ PB, прирост 1+ PB/year) в составе команды Data Platform Team.

Задачи:

Проектирование процессов хранения и процессинга данных (batch, stream);
Проектирование архитектуры реляционных и noSQL БД;
Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB;
Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности.

Обязательные требования:

Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных;
Понимание принципов работы кластерных решений и способов достижения требуемой производительности;
Понимание назначения и различий форматов хранения данных;
Знания SQL на высоком уровне (ClickHouse, PostgreSQL);
Знание Python (PySpark);
Знания и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов);
SPARK;

Будет большим преимуществом:

Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake, Delta Lake);
Опыт работы с Presto, Trino, Star Rocks DB;
Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions);
Опыт работы с Data Lakehouse форматами данных;
Опыт разработки с использованием Flink.

Условия, предоствляемые с нашей стороны:

Полный релокационный пакет при переезде на Кипр, в Лимасол;
Помощь в поиске постоянного жилья на Кипре сотрудниками нашего hospitality отдела;
Оформление разрешения на работу для вас и ВНЖ для членов вашей семьи;
Возможность брать беспроцентную ссуду у компании в случае крупных покупок;
Гибкий рабочий график;
Творческая атмосфера в коллективе;
Завтраки и обеды в офисе - за счет компании;
Бонусы по результатам работы и годовой бонус по итогам работы за год;
Компенсация профессионального образования и уроков английского;
Достойный доход, соответствующий вашей квалификации;
Прекрасные корпоративные мероприятия с большим размахом;
Широкие возможности роста и развития.