Makalah ini berargumen bahwa pengujian penetrasi tradisional tidak memadai untuk sistem yang didukung AI karena pihak lawan dapat mengubah perilaku melalui prompt, data, atau input sensor tanpa mengkompromikan infrastruktur. Makalah ini membayangkan ulang praktik tersebut sebagai evaluasi perilaku berbasis tujuan, mendefinisikan penetrasi yang didukung AI sebagai induksi perilaku yang melanggar tujuan operasional di bawah model ancaman tertentu.
- Penulis mendefinisikan sistem yang didukung AI sebagai sistem di mana model yang dipelajari secara material mempengaruhi hasil operasional.
- Jalur adversarial termasuk injeksi prompt, pencemaran data, manipulasi sensor, dan ketidakselarasan agentic.
- Alur kerja pengujian diusulkan untuk mengidentifikasi tujuan, memetakan perilaku, menganalisis permukaan pengaruh, dan melaporkan bukti pelanggaran tujuan.
- Contoh berjalan yang menggunakan asisten pusat operasi keamanan yang didukung AI menggambarkan bagaimana penetrasi terjadi melalui pengaruh perilaku.
Kerangka ini memberikan dasar teknis untuk mengevaluasi keberhasilan adversarial dalam sistem AI yang diimplementasikan dengan berfokus pada hasil operasional daripada hanya kompromi infrastruktur.