Data Engineer (AI/LLM Data & Infrastructure)

21 Августа

от 180 000 руб.

Партнерские Вакансии

Компания "Медиа Эффект"

Предлагаем:

• официальное оформление с первого рабочего дня;

• заработная плата 180 000 рублей на руки;

• график работы 5/2 с 9 до 18;

• офис м. Нагатинская/м. Верхние Котлы;

• компенсация питания;

• полный социальный пакет.

Чем предстоит заниматься:

• разработка, тестирование и поддержка ETL-пайплайнов для сбора, очистки, дедупликации и фильтрации обучающих корпусов;

• парсинг разнородных документов в структурированные форматы, пригодные для обучения языковых моделей;

• глубокий анализ больших объемов текстовых и структурированных данных, написание и оптимизация скриптов на Python и SQL;

• полный цикл поддержки данных: от исследования источников и прототипирования парсеров до production-эксплуатации и мониторинга качества;

• исследование и внедрение новых подходов в обработке данных для LLM: улучшение фильтрации шумов, оптимизация словарей, автоматизация evaluation-пайплайнов.

От Вас ожидаем:

• глубокое понимание архитектуры данных, принципов построения ETL/ELT-пайплайнов и жизненного цикла данных для обучения AI-моделей;

• свободное владение Python и основными библиотеками для обработки данных: Инженерия данных: Polars, Pandas, PyArrow, Dask/Spark Веб-скрапинг и парсинг: Scrapy, Playwright, BeautifulSoup, инструменты разбора документов * NLP-экосистема: Hugging Face Datasets, Tokenizers, NLTK, spaCy;

• понимание принципов работы токенизаторов и архитектур LLM: опыт разработки или кастомизации токенизаторов, оптимизация словаря под русский язык, работа с subword-алгоритмами (BPE, Unigram, SentencePiece);

• знание открытых и корпоративных источников данных, умение работать с лицензиями, авторскими правами и compliance при сборе обучающих корпусов;

• наличие успешного опыта внедрения data-пайплайнов «под ключ» для NLP/LLM-проектов в production-среде.