|
Рубрика:
Безопасность /
Безопасность ИИ
|
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
 ВИЗИТКА
Сергей Головашов,
руководитель Центра компетенций Bell Integrator
Эволюция угроз:
от guardrails к rogue-детекторам
AI-агент сегодня — это не просто чат, а полноценный сотрудник с доступом к API, базам данных и критической инфраструктуре. Как защитить систему, когда атака может скрываться месяцами, не проявляя себя внешне? В этой статье мы разбираем концепцию «песочницы на лету» и новый класс средств защиты — детекторы rogue-агентов, которые выявляют компрометацию через провокацию, а не только через блокировку.
За отечественный ИИ!
В последние месяцы стало очевидно: обход механизмов безопасности стал рутинной практикой. Для пользователей — это уже спортивный элемент. Для злоумышленников — очевидная часть рабочего процесса. Базовые защитные методы устарели и требуют расширения функционала.
Предыдущий уровень защиты был построен на блэклистах, BERT-моделях или лёгких LLM-classifiers для оценки близости промпта к атаке. Это было важно — не допустить явные атаки (guardrails). Но в реальном мире угрозы становятся сложнее: APT может месяцами сидеть внутри инфраструктуры, разведываться, пока ничего не будет заметно на уровне поведения агента.
<...>
Ключевые слова: AI-агенты, безопасность ИИ, rogue-детекторы, промпт-атаки, отравление памяти, OWASP AI Security, MCP (Model Context Protocol), песочница на лету, инцидент-менеджмент (IR), автономные агенты, honeypot tools, canary credentials, девиантное поведение, защита LLM, агентная идентичность
Полную версию статьи читайте в журнале
Подпишитесь на журнал
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
Эволюция угроз: от guardrails к rogue-детекторам
