Дата инженер( НИИ «Восход» )

Компания "НИИ «Восход»"

НИИ «ВОСХОД» — мультисервисный партнер государства в области информационных технологий с 1972 года. Мы создаем инновационные ИТ-решения для органов власти, внедряем и развиваем новые форматы эффективного взаимодействия между государством и обществом.

Институт специализируется на разработке и эксплуатации информационных систем, услугах в области информационной безопасности (в том числе создании средств криптографической защиты информации), а также разработке и развитии ИТ-архитектуры современных информационных систем и цифровых платформенных решений.

НИИ «ВОСХОД» включен в реестр аккредитованных ИТ-компаний и организаций оборонно-промышленного комплекса.

Ваши будущие задачи:

• Участие в полном жизненном цикле данных: от интеграции источников и обеспечения качества данных до организации удобного доступа для аналитиков и data scientist-ов.
• Проектирование, автоматизация и техническая эксплуатация отказоустойчивых и масштабируемых вычислительных процессов (пайплайнов) для сбора, проверки качества, нормализации, реструктуризации, обогащения больших данных (в том числе геоданных).
• Развитие и оптимизация инфраструктуры данных компании: DWH, Data Lake, систем мониторинга и оркестрации.
• Внедрение лучших практик инженерии данных (тестирование пайплайнов, мониторинг, версионирование, документирование).
• Техническое лидерство и менторство в команде инженерии данных.
• Взаимодействие со смежными командами (аналитики, ML-инженеры, разработчики) для понимания потребностей в данных и реализации эффективных решений.

Для нас важно:

• Опыт разработки с использованием:
  • Python (библиотеки для работы с геоданными, для, анализа данных);
  • S3 (например, MinIO);
  • ClickHouse;
  • PostgreSQL, PL/pgSQL;
  • PostGIS;
  • Parquet (и друге популярные форматы: Iceberg, Avro, ORC, CSV);
  • Spark (API на Scala, PySpark);
  • Dagster (и другие популярные оркестраторы: AirFlow);
  • SQL;
  • ОС Linux;

• Будет преимуществом:
  • Scala;
  • Shapefile;
  • JupyterLab (Jupyter Notebook);
  • Java;
  • Prometheus;
  • Graphana;
  • ELK;

• Общее знакомство с:
  PostgREST;
   Kafka;
   Docker;
   Kubernetes;
   Istio;
   Hadoop;
   HashiCorp Terraform;
   RedHat Ansible
   Sonatype Nexus;
   Go;
   JavaScript.

• Опыт развития систем обработки больших данных (сбор, нормализация, реструктуризация):
   Анализ потребностей и проектирование архитектуры ПО. Знакомство с DAMA DMBOK, BPMN, микросервисной архитектурой, REST API, Open API;
   Спецификация требований к ПО и данным, разработка логического дизайна ПО. Знакомство с C4, UML, ERD;
   Разработка физического дизайна и кода ПО для процессов обработки данных (пайплайнов);
   Отладка кода, участие в функциональном, нагрузочном, приёмочном тестированиях;
   Оптимизация унаследованного кода;
   Практика CI/CD;

• Опыт технической эксплуатации систем обработки больших данных:
   Развёртывание и настройка процессов обработки данных;
   Мониторинг работы процессов обработки данных
   Устранение сбоев в работе процессов обработки данных;

• Опыт обеспечения качества данных:
   Разработка и тестирование процедур проверки качества данных;
   Мониторинг исполнения и результатов процедур проверки качества данных;
   Участие в устранении инцидентов, связанных с качеством данных.

• Опыт документирования.

Мы предлагаем:

• Работу в команде профессионалов;
• Стабильную белую и конкурентоспособную заработную плату;
• График работы 5/2 с 9-18 либо с 10-19, в пятницу до 16-45/17-45 (формат работы гибрид или удаленно)
• Оформление по ТК РФ;
• Комфортный, просторный офис (м. Проспект Вернадского/Мичуринский проспект);
• Возможность профессионального развития;
• Отсутствие опен-спейсов и строгого дресс-кода;
• Бесплатную охраняемую парковку на территории офиса;
• Тренажерный зал в офисе.