Big Data Engineer

02 Января 2025

МКК Страна Экспресс
МКК Страна Экспресс

Город:

Новосибирск

Занятость:

Полная занятость

Откликнуться

Компания "МКК Страна Экспресс"

Команда ML за 7 лет реализовала более 50 проектов с использованием машинного обучения, таких как кредитный скоринr, поиск фрода, neuro-OCR, распознавание лиц и документов и т. д.

В нашей команде дата-инженеры занимаются организацией данных и витрин для их получения. Главные потребители наших данных – data scientist’ы, которые занимаются поиском закономерностей, значимых признаков в данных и тренировкой моделей машинного обучения.

Стек: Apache Airflow, Apache Spark, Apache Kafka, Apache Flink, ClickHouse, Kubernetes, Hive, Impala, Zeppelin, HUE, Scala и Python.

Спектр задач широкий:

  • проектирование и построение DWH
  • подготовка витрин данных для отчетности, бизнеса и дата аналитики
  • организация пайплайнов сбора данных от бэкендов и других хранилищ
  • организация пайплайна подготовки датасетов для обучения ML моделей
  • организация мониторинга компонентов корпоративной платформы данных
  • разработка ETL/ELT пайплайнов и поддержка существующих

На минималках потребуется:

  • Java8+, Scala или Python (один из языков на хорошем уровне)
  • Знание алгоритмов и структур данных
  • Знание SQL и принципов работы классических БД
  • Желание развиваться в BigData и ML

Какие еще навыки будут полезны в работе:

  • Hadoop, Spark, YARN, Hive, Impala
  • noSQL базы: Cassandra, Elastic
  • Анализ данных при помощи Python-ноутбуков Jupyter, Zeppelin
  • Работа с очередями сообщений: Kafka, Rabbit, JMS

Мы предлагаем:

  • Понятную траекторию роста (последовательный и хороший онбординг, регулярные performance review, карьерные консультации, индивидуальная карта развития)
  • Обучение и развитие за счет ресурсов компании (Учебный Центр, корпоративная библиотека, оплата внешнего обучения по согласованию)
  • Социальный пакет (ДМС с первого дня, скидки от партнеров)
  • Насыщенная корпоративная жизнь (радио, подкасты, кибертурнир, собственные мероприятия и участие в крупных событиях отрасли)
  • Возможность быть преподавателем, наставником, спикером – каждый выбирает, что подходит именно ему
  • Официальное трудоустройство в аккредитованной компании, белая зарплата

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя

Прикрепите резюме для отклика

Похожие вакансии

09 Января

Middle QA Engineer (mobile)

Новосибирск

Компания "Финтех Айкью" Мы ищем Тестировщика , которому будет интересно продолжить нашу успешную историю вместе. Чем предстоит заниматься:...

09 Января

Data Scientist Управления модельных рисков и валидации

Новосибирск

Компания "Банк ВТБ (ПАО)" Обязанности: Валидация моделей и оценка модельного риска с целью снижения вероятности реализации модельного риска...

09 Января

Тестировщик/QA-engineer

Новосибирск

Компания "Ревордс Девелопмент" CityAds Media – один из лидеров российского CPA рынка интернет-рекламы. Наша компания представлена на рынке с...

09 Января

QA Engineer / Web Тестировщик

Новосибирск

Компания "NAN Agency" Привет! Мы «NAN Аgency» – разработчик IT-решений для крупного бизнеса, развивающихся компаний и стартапов. А ещё, у нас...

08 Января

ML Engineer( Кадровое агентство Алексея Сухорукова )

Новосибирск

от 200 000  до 300 000 руб.

Компания "Кадровое агентство Алексея Сухорукова" Международная продуктовая IT-компания, работающая на Российском рынке с 2009 года, занимающаяся...

Подпишитесь на похожие вакансии