تجادل هذه الورقة بأن اختبار الاختراق التقليدي غير كافٍ للأنظمة المدعومة بالذكاء الاصطناعي لأن الخصوم يمكنهم تغيير السلوك من خلال المطالبات أو البيانات أو مدخلات المستشعرات دون المساس بالبنية التحتية. تعيد الورقة صياغة الممارسة كتقييم سلوكي قائم على الأهداف، وتعرّف الاختراق المدعوم بالذكاء الاصطناعي بأنه إحداث سلوك ينتهك الأهداف التشغيلية تحت نموذج تهديد محدد.
- يعرف المؤلفون النظام المدعوم بالذكاء الاصطناعي بأنه نظام تؤثر فيه النماذج المتعلمة بشكل جوهري على النتائج التشغيلية.
- تشمل المسارات المعادية حقن المطالبات، وتسميم البيانات، والتلاعب بالمستشعرات، وعدم محاذاة الوكلاء.
- تم اقتراح سير عمل للاختبار لتحديد الأهداف، وخريطة السلوك، وتحليل أسطح التأثير، والإبلاغ عن أدلة على انتهاك الأهداف.
- يوضح مثال متواصل باستخدام مساعد مركز عمليات أمني مدعوم بالذكاء الاصطناعي كيف يحدث الاختراق من خلال التأثير السلوكي.
يوفر هذا الإطار أساسًا تقنيًا لتقييم نجاح الخصوم في أنظمة الذكاء الاصطناعي المنتشرة من خلال التركيز على النتائج التشغيلية بدلاً من مجرد المساس بالبنية التحتية.