|
Рубрика:
Карьера/Образование /
Кафедра
|
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
Сергей Головашов,
руководитель центра компетенций DevOps компании «Bell Integrator»
Дмитрий Стефановский,
доцент, руководитель Института информационных систем, кафедры информационных систем ГУУ
Защита данных, моделей и инфраструктуры
на каждом этапе жизненного цикла языковых моделей
Практическая значимость исследования – в разработке структурированного руководства для организаций – разработчиков и операторов ИИ-сервисов, вынужденных обеспечивать соответствие жёстким требованиям к безопасности в законодательно установленные сроки .
Введение
Сегодня все чаще мы наблюдаем повсеместную интеграцию систем искусственного интеллекта (ИИ) и, в частности, больших языковых моделей (Large Language Models, LLM), в критически важные сегменты цифровой инфраструктуры. Поэтому формирование адекватного и эффективного регуляторного ландшафта становится императивом государственной значимости.
Проникновение генеративных ИИ-сервисов в сферы государственного управления, финансовых операций, здравоохранения и коммуникаций порождает принципиально новую поверхность для кибератак, требуя переосмысления классических парадигм информационной безопасности.
Целью настоящей статьи является комплексный анализ формирующейся нормативно-правовой базы Российской Федерации в области защиты систем, основанных на больших языковых моделях, с акцентом на техническую интерпретацию требований ключевых документов: Приказа ФСТЭК России №117, а также сопутствующих методических рекомендаций по оценке защищённости и моделированию угроз.
Статья нацелена на преодоление разрыва между абстрактными формулировками регуляторных требований и практической реализацией конкретных защитных механизмов в жизненном цикле LLMOps (Machine Learning Operations for LLMs).
Практическая значимость нашего исследования заключается в разработке структурированного руководства для организаций – разработчиков и операторов ИИ-сервисов, вынужденных обеспечивать соответствие жёстким требованиям к безопасности в сжатые законодательно установленные сроки. Материал предлагает не только декомпозицию нормативных положений, но и предоставляет инженерные шаблоны, реализуемые на кодовом уровне (code-first approach), для построения многоуровневой обороны. Рассматриваются архитектурные паттерны защиты от специфических для LLM угроз, таких как промпт-инъекции, утечки данных через вывод модели и отравление обучающих контуров, с учётом необходимости их интеграции в автоматизированные пайплайны непрерывной интеграции и поставки (CI/CD).
Таким образом, статья может служить связующим звеном между директивами регуляторов, академическими исследованиями в области безопасного машинного обучения и операционными практиками индустрии, способствуя созданию безопасных, надёжных и отвечающих требованиям законодательства интеллектуальных систем в российской цифровой экосистеме.
<...>
Ключевые слова: защита больших языковых моделей, требования к ИИ-системам 2026, промпт-инъекции защита, модель угроз ИИ, аттестация ИИ-систем, оценка защищённости ИИ ФСТЭК, системный промпт контроль целостности, фильтрация вывода LLM, аудит изменений параметров модели
Полную версию статьи читайте в журнале
Подпишитесь на журнал
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
Защита данных, моделей и инфраструктуры на каждом этапе жизненного цикла языковых моделей
