Python-разработчик/+GO

ИЦ АЙ-ТЕКО

Город:

Москва

Занятость:

Полная занятость

Компания "ИЦ АЙ-ТЕКО"

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия Python разработчика.

Задачи:

Разработка и поддержка сервисов сбора и обработки данных о состоянии кластеров Hadoop/GreenPlum (метаданные, fsimage, логи).
Интеграция с внутренними системами: Service Manager, SDP Control, СФД, Kafka (тракты данных).
Реализация механизмов автоматического запуска проверок по триггерам (например, при изменении статуса в SDP Control).
Оптимизация производительности обработки больших объёмов данных (логи, метрики, очереди Yarn, утилизация HDFS).
Построение и доработка дашбордов (аналитика, визуализация трендов).
Разработка ETL-процессов для наполнения отчётной БД.

Ожидания от кандидата

Общие требования:

Высшее образование.
Опыт коммерческой разработки от 4 лет.
Опыт с Golang.
Опыт работы с Linux и Bash.
Готовность к гибриду (офис на Кутузовском проспекте).

Технические требования:

Python 3.9+ (уверенное знание языка, типизация, асинхронность).
SQL (сложные запросы, агрегации, работа с большими таблицами).
Опыт обработки и парсинга больших объёмов данных (логи, fsimage, метрики).
Работа с форматами данных: JSON, Avro, Parquet, CSV.
Умение проектировать ETL-процессы.

Базы данных:

Опыт работы с реляционными БД (PostgreSQL / GreenPlum).
Понимание устройства отчётных БД (OLAP-нагрузки).
Опыт работы с Redis.

Интеграции и инструменты:

Опыт работы с Kafka (или другими брокерами сообщений) для работы с трактами данных.
Опыт написания интеграций через REST API.
Системы контроля версий: Git (GitLab).

Навыки и компетенции:

Умение проектировать архитектуру модулей сбора и обработки данных.
Понимание принципов работы распределённых систем (Hadoop / GreenPlum будет плюсом).
Опыт оптимизации запросов и обработки данных для сокращения времени выполнения.
Умение работать с большими объёмами информации (Big Data).

Формат работы: гибрид в Москве (Кутузовский проспект, 32)

О проекте:

Проект в крупном банке.

Cluster Discovery — технический справочник для администраторов платформы УСКАП, который автоматически обновляется. Проект входит в направление «Аналитические инструменты надежности DataOps». Его задача — автоматизировать сбор и предоставление информации о кластерах больших данных (Hadoop, GreenPlum): их конфигурации, загрузке, очередях, пользователях и физическом расположении оборудования в ЦОД.

Команда разрабатывает систему, которая собирает данные из разных источников (логи СФД, fsimage, Service Manager, SDP Control), проверяет состояние кластеров и показывает результаты в виде дашбордов и отчётов.

Мы предлагаем:

Работу в стабильной, надежной компании;
Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня;
Расширенный социальный пакет;
Возможности для профессионального развития: обучение, внутренние и внешние курсы;
Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое;
Снабжаем современной техникой для работы.

ОТКЛИКАЙСЯ =) ЖДУ, КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)