|
Рубрика:
Наука и технологии /
Раздел для научных публикаций
|
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
Ильичев В.Ю.,
к.т.н., Калужский филиал ФГОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)», г. Калуга, patrol8@yandex.ru
Антипова О.В.,
Калужский филиал ФГОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)», г. Калуга, patrol8@yandex.ru
Использование локальных библиотек Python
для генерации синтетических данных с помощью больших языковых моделей
Исследованы возможности локальных больших языковых моделей (Llama 3.1, Mistral, Qwen 2.5) для генерации синтетических данных. Проведено сравнение качества с использованием метрик BERTScore, ROUGE-L и разнообразия. Показано, что локальные решения обеспечивают конкурентоспособное качество при сохранении конфиденциальности данных.
Введение
В современных условиях цифровизации экономики и науки проблема обработки данных приобретает особую актуальность. Большие языковые модели (Large Language Models, LLM) демонстрируют выдающиеся результаты в задачах генерации текста, классификации, извлечения информации и рассуждений [1]. Однако их практическое применение в корпоративном секторе, государственных учреждениях и научных организациях сталкивается с рядом существенных ограничений, среди которых ключевыми являются вопросы конфиденциальности данных, стоимость вычислительных ресурсов и зависимость от облачных провайдеров.
Генерация синтетических данных представляет собой один из наиболее востребованных сценариев использования LLM. Синтетические данные – это искусственно созданные наборы данных, статистические характеристики которых максимально приближены к реальным, но при этом не содержащие конфиденциальной информации о конкретных лицах, организациях или событиях [2, 3, 4]. Необходимость в таких данных возникает в следующих ситуациях:
- обучение моделей машинного обучения в условиях дефицита размеченных данных или при сильном дисбалансе классов;
- тестирование программного обеспечения на реалистичных, но безопасных наборах данных;
- научные исследования, требующие воспроизводимости экспериментов без раскрытия исходных данных;
- демонстрационные среды для клиентов и партнёров без риска утечки коммерческой информации;
- аугментация данных для повышения устойчивости моделей к вариативности входной информации.
<...>
Ключевые слова: большие языковые модели, синтетические данные, локальные LLM, HuggingFace Transformers, Ollama, генерация данных, конфиденциальность, Llama 3, Mistral, Qwen
Полную версию статьи читайте в журнале
Подпишитесь на журнал
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
Использование локальных библиотек Python для генерации синтетических данных с помощью больших языковых моделей
