В данной статье утверждается, что традиционное тестирование на проникновение недостаточно для систем с ИИ, поскольку злоумышленники могут изменять поведение через промпты, данные или сенсорные входные сигналы без компрометации инфраструктуры. Авторы переосмысляют эту практику как объективно-ориентированную поведенческую оценку, определяя ИИ-взлом как индуцирование поведения, нарушающего операционные цели в рамках конкретной модели угроз.
- Авторы определяют систему с ИИ как такую, где обученные модели существенно влияют на операционные результаты.
- Векторы атак включают инъекцию промптов, отравление данных, манипуляцию сенсорами и несовпадение агентов.
- Предлагается рабочий процесс тестирования для выявления целей, картирования поведения, анализа поверхностей влияния и отчетности о доказательствах нарушения целей.
- Приводится пример с ассистентом центра операционной безопасности на базе ИИ, иллюстрирующий, как проникновение происходит через влияние на поведение.
Эта рамка предоставляет техническую основу для оценки успеха атак в развернутых ИИ-системах, фокусируясь на операционных результатах, а не только на компрометации инфраструктуры.