Tech Lead Data Engineer( Криптонит )
11 Ноября 2024
Город:
Москва
Занятость:
Полная занятость
Компания "Криптонит"
Обязанности:
- Проработка High Level Design процессов загрузки данных на платформу
- Выполнение Code review и контроль правильности реализации принятых технических решений
- Формирование требований, декомпозиция задач
- Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml)
- Выбор подходящих СУБД и моделирование схем данных под нагрузку в соответствии с функциональными требованиями систем потребителей данных
- Анализ и устранение причин production инцидентов
- Взаимодействие с смежными командами
Требования:
- Опыт разработки на Scala или Java в качестве Data Engineer (Spark или Flink) от 3-х лет
- Опыт работы по специальности от 5-ти лет
- Понимание принципов работы распределенных БД - Scylla/Cassandra, Kafka
- Знание алгоритмов и структур данных
- Знание SQL
- Опыт решения проблем в production при внедрении разработанных продуктов, включая performance tuning
- Готовность к командировкам
Будет плюсом:
- Опыт работы с Nifi, Airflow
- Опыт работы с распределенными БД: Cassandra, HBase, Opensearch и т.д.
- Опыт работы в Kubernetes окружениях
- Понимание особенностей архитектуры JVM
- Наличие опыта backend разработки
Что мы предлагаем:
Здоровье и спорт:
- ДМС + стоматология
- Корпоративные скидки в фитнес-клуб World Class
- Корпоративный тариф на абонементы FITMOST
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги)
Обучение и развитие:
- Курсы английского языка, в том числе с носителем языка
- Внешние курсы, сертифицированное обучение, которые вы выбираете сами
- Возможность участия в конференциях в России и за рубежом
- Экскурсии в Музей криптографии для сотрудников и их семей
Работа в удобном формате:
- Работа в офисе, удаленно или комбинированный формат
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
05 Ноября
Lead разработки ЦФТ в команду Импортозамещения банковских платформ
Москва
Компания "Банк ДОМ.РФ" НЕМНОГО О ПРОЕКТЕ: Мы создаем новое ядро: внедряем новую АБС на СУБД Postgres pro (ЦФТ-Банк), которая...
05 Ноября
Москва
Компания "Чиббис" Chibbis.ru — единый сервис доставки готовой еды из ресторанов и кафе. Мы – крупнейший независимый игрок на рынке фудтеха РФ...
05 Ноября
Tech Lead (разработка/внедрение ПО)
Москва
Компания "РБ Текнолоджи" RBtechnologies – аккредитованная ИТ–компания, создана в 2009 году. Входит в RB Data Group . Основная специализация...
05 Ноября
Junior Data Analyst (блок "Сеть Продаж")
Москва
Компания "Сбербанк" Цель нашего проекта – оцифровать клиентский опыт в крупнейшей банкоматной сети Европы с десятками миллионов ежедневных...
05 Ноября
Presale engineer (Middle/Senior)
Москва
Компания "РусБИТех-Астра" Мы Группа Астра – один из лидеров российской IT-индустрии, ведущий производитель программного обеспечения, в том числе...
Вакансия размещена в отрасли