توضح ورقة موقف من باحثي إنفيديا رؤية لتأمين وكلاء الذكاء الاصطناعي ضد هجمات الحقن غير المباشر للبرومبت، حيث تؤدي التعليمات الخبيثة المضمنة في بيانات غير موثوقة إلى إجراءات خطيرة. يجادل المؤلفون بأن الدفاع الفعال يتطلب الانتقال من إصلاحات النماذج المعزولة إلى بنية نظام شاملة.
- إعادة التخطيط الديناميكي وتحديثات سياسات الأمان ضروريان للتعامل مع المهام الديناميكية والبيئات الواقعية.
- يجب أن تعتمد قرارات الأمان المعتمدة على السياق على نماذج اللغات الكبيرة (LLMs) فقط ضمن تصاميم تقيد بشدة ما يمكن للنموذج ملاحظته وقراره.
- يجب أن تكون التخصيص والتفاعل البشري اعتبارات تصميم أساسية للحالات الغامضة بطبيعتها.
- غالبًا ما تخلق المقاييس المعيارية الحالية شعوراً زائفاً بالفائدة والأمان بسبب قيودها.
تعمل الدفاعات على مستوى النظام كهيكل عظمي هيكلي للأنظمة الوكيلية من خلال دمج الفحوصات القائمة على القواعد والقائمة على النماذج، مما يتيح أبحاثاً أكثر تركيزاً حول المتانة.