Компания "СБСОФТ"
Обязанности:
1. Разработка, построение, тестирование и поддержка архитектур данных: Дата-инженер отвечает за создание и поддержку оптимальных архитектур данных, которые обеспечивают эффективное хранение, обработку и доступ к большим объемам данных.
2. Сбор и интеграция данных из различных источников: Дата-инженер должен уметь собирать данные из разнообразных источников, таких как базы данных, файловые системы, внешние сервисы и API, и интегрировать их в централизованное хранилище данных.
3. Очистка и подготовка данных: Очистка неструктурированных и разрозненных данных, их преобразование в структурированный и читаемый формат для последующего анализа.
4. Автоматизация процессов сбора, обработки и анализа данных: Разработка и поддержка автоматических процедур для регулярного обновления данных и обработки потоков данных в реальном времени.
5. Мониторинг, тестирование и обеспечение производительности данных: Постоянный мониторинг систем и архитектур данных на предмет ошибок и узких мест, а также выполнение необходимых оптимизаций.
6. Сотрудничество с аналитиками данных и другими заинтересованными сторонами: Взаимодействие с командами аналитиков, бизнес-аналитиков и разработчиков для обеспечения доступа к данным, их понимания и использования.
7. Соблюдение политик и нормативов в области обработки данных: Убедиться, что все процессы и системы соответствуют требованиям в отношении безопасности данных, конфиденциальности и правовых норм.
Требования:
1. Опыт работы от 1,5 лет: Опыт работы в области данных, включая проектирование, построение, оптимизацию и поддержку архитектур данных. Опыт работы с базами данных и большими объемами данных.
2. Знание языков программирования: Профессиональное владение языками программирования, такими как Python, Scala, Java, а также SQL для обработки и анализа данных.
3. Понимание инструментов ETL (Extract, Transform, Load): Опыт работы с инструментами ETL для извлечения, трансформации и загрузки данных из различных источников.
3. Знание систем управления базами данных: Глубокие знания SQL и NoSQL баз данных, включая Greenplum, ClickHouse, MongoDB, Cassandra, PostgreSQL, MySQL и другие.
4. Опыт с большими данными и распределенными системами: Опыт работы с Hadoop, Spark, Kafka и другими технологиями обработки больших данных.
5. Знание облачных платформ: Опыт работы с облачными сервисами, такими как AWS, Yandex, VK Cloud, включая их сервисы для работы с данными (например, S3, EC2, RDS, BigQuery).
6. Навыки работы с данными: Понимание методов очистки и предобработки данных, знание инструментов для визуализации данных. Знание основных принципов и методик построения DWH, DataLake
7. Навыки межличностного общения: Способность эффективно общаться как с техническими, так и с не техническими коллегами, умение работать в команде.
8. Аналитические навыки: Способность анализировать и интерпретировать сложные наборы данных, выявлять тенденции и взаимосвязи. Способность быстро переключаться на новые задачи.
Условия:
05 Декабря
Data Engineer( БУРГЕР КИНГ РОССИЯ )
Москва
Компания "БУРГЕР КИНГ РОССИЯ" Компания BURGER KING® приглашает в команду Data Engineer. Присоединяйся к нам на вакансию в офис: с тебя –...
05 Декабря
Москва
Компания "ИК СИБИНТЕК" Обязанности: Анализ данных для моделирования (подготовка, обработка, анализ качества); Проработка архитектуры...
05 Декабря
QA Engineer / Тестировщик ПО (Manual+Auto)
Москва
от 120 000 до 200 000 руб.
Компания "ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ" Ищем амбициозного специалиста по тестированию на постоянную работу в успешный IT-проект. Мы разрабатываем...
05 Декабря
Москва
Компания "Неофлекс" СТЕК: Oracle, PL/SQL, ETL, SQL ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ: Развитие продукта Neoflex Reporting; Организация...
05 Декабря
DevOps Engineer( Факторинг Плюс )
Москва
Компания "Факторинг Плюс" Амбициозная команда профессионалов, которая разрабатывает сервисы для малого и среднего бизнеса с использованием...
Вакансия размещена в отрасли