Компания "МТС"
КИОН — это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. В пуле originals онлайн-кинотеатра KION такие известные кино-сериальные проекты как «Хрустальный», «Почка», «Пингвины моей мамы», «Секреты семейной жизни», «Дуров», «Клиника счастья» и многие другие.
Описание проекта и команды:
Отдел платформеных данных занимается внедрение lakehouse нового поколения,в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.
Чем предстоит заниматься:
Разработка и рефакторинг ETL/ELT пайплайнов на pyspark;
Разработка и поддержка OLAP движков Starrocks/Clickhouse;
Поддержка текущих пайплайнов на Greenplum и Hadoop;
Миграция с HDFS на S3;
Оптимизация Spark-приложений;
Опыт работы с Python от 3 лет;
Глубокое знание SQL и опыт работы с большими данными;
Опыт работы с Apache Airflow
Опыт проектирования и разработки ETL/ELT процессов;
Опыт работы с колоночными БД (ClickHouse);
Знание принципов построения Data Warehouse и Data Lake;
Понимание разницы между OLTP/OLAP системами;
Уверенная работа c linux и git;
Понимание процессов ci/cd;
30 Мая
Senior QA Automation Engineer( Simplenight )
Москва
от 150 000 до 300 000 руб.
Компания "Simplenight" Position: QA Automation Engineer Level: Senior Experience: 8+ years (NOT freelancing) Location: Remote...
30 Мая
Стажер data science (ИИ в агростраховании)
Москва
Компания "МАЙНДСЭТ" Вакансия: Стажёр по анализу сельскохозяйственных рисков В компанию требуется стажёр по направлению «машинное обучение в...
30 Мая
Data Scientist (LLM & ML) в команду «История операций» СберБанк Онлайн
Москва
Компания "Сбербанк" О команде и вызове «История операций» — это один из самых высоконагруженных и посещаемых экранов в приложении. Наша цель...
30 Мая
Руководитель проекта (SberData)
Москва
Компания "Сбербанк" SberData – подразделение Сбера, которое занимается разработкой инфраструктуры для поставки, хранения и обработки данных....
30 Мая
DevOps / DevSecOps Engineer (проектная работа)
Москва
Компания "Printum" Компания Printum ищет DevOps / DevSecOps инженера для развития процессов безопасной разработки и автоматизации...