Data Engineer (Инженер по данным)

30 Ноября

Партнерские Вакансии

Компания "Kaiten"

Kaiten – сервис для управления рабочими процессами, проектами и командами.

Он был создан как более гибкая альтернатива физическим канбан-доскам и уже существующим сервисам управления задачами. Основная задумка была в том, чтобы создать инструмент, который поможет командам и менеджерам фокусировать внимание на достижении целей компании, чтобы каждый сотрудник видел прямую связь между своими задачами и этими целями. Иначе говоря, перейти от трекинга задач к эффективному управлению процессами. Инструмент был основан на философии Kanban, но впоследствии мы расширили его для применения других гибких подходов (например, Scrum).

Kaiten создает небольшая и полностью распределенная команда самостоятельных и инициативных специалистов. Отсутствие бюрократии, открытое общение и оптимизированные рабочие процессы позволяют нам быстро развивать продукт и адаптироваться под меняющиеся условия рынка.

Обязанности:

• Разрабатывать, развивать и поддерживать масштабируемые ETL/ELT конвейеры для сбора, обработки и трансформации данных из различных источников в наш data lake и другие платформы.

• Создавать и поддерживать озеро данных, интегрируя данные из множества внутренних и внешних источников.

• Сотрудничать с менеджером AI направления.

• Оптимизировать существующую архитектуру данных для масштабируемости и производительности, обеспечивая надежность в процессе извлечения, хранения и обработки данных.

• Тесно сотрудничать с кросс-функциональными командами для понимания их потребностей в данных и предоставления аналитики для бизнес-решений.

• Участвовать в улучшении нашей инфраструктуры данных путем оценки и внедрения новых инструментов и технологий.

• Опыт работы: Более 2 лет опыта в области Data Engineering, включая разработку ETL/ELT конвейеров.

• Языки программирования: Понимание Python и SQL. Опыт работы с PySpark будет плюсом.

• Технологии Big Data: Опыт работы с архитектурами data lakes, инструментами big data, такими как Apache Spark, Hive и Apache Kafka. Будет плюсом:

• Опыт работы с рабочими процессами машинного обучения, подготовки данных для моделей AI/ML.

• Знание облачных сервисов, таких как AWS Redshift, Google BigQuery.

• Опыт настройки API для интеграции данных.

• Опыт работы с PySpark.

• Трудоустройство по ТК РФ, достойную белую зарплату;
• Крупные интересные проекты;
• Удалённый формат работы;
• Корпоративное обучение за счёт компании;
• Отсутствие микроменеджмента, гибкий график;
• Высокий уровень самостоятельности в принятии бизнес-решений, отсутствие бюрократии;
• Поддержку руководства компании.