शोधकर्ताओं ने PolicyShiftBench पेश किया है, जो 265 छवियों पर 2,000 उदाहरणों वाला एक बेंचमार्क है, यह मूल्यांकन करने के लिए कि क्या मॉडल सक्रिय सुरक्षा नीतियों के अनुकूलित होते हैं या छवि-स्तर की प्रायोरिटी पर निर्भर करते हैं। उन्होंने PolicyShiftGuard भी प्रस्तावित किया है, जो Randomized Policy SFT और Boundary-Pair Policy Adaptation के माध्यम से प्रशिक्षित एक कॉम्पैक्ट 7B मॉडल है ताकि नीति परिवर्तनों को संभाला जा सके।
- PolicyShiftBench हर छवि को औसतन 7.55 नीति-शर्ती प्रॉम्प्ट्स के साथ जोड़ता है ताकि हल्की हुई नीति परिभाषाओं के लिए अनुकूलन का परीक्षण किया जा सके।
- PolicyShiftGuard RP-SFT और BP-Adapt को मिलाकर एक दो-चरण की प्रशिक्षण विधि का उपयोग करता है, जो जोड़ी तुलना हानि के माध्यम से ब्लॉकिंग और पासिंग नीतियों को अलग करता है।
- मॉडल ने PolicyShiftBench पर 76.9 औसत F1 और 72.1 औसत PSS स्कोर के साथ शीर्ष प्रदर्शन हासिल किया है।
- यह UnSafeBench और SafeEditBench पर अच्छी तरह ट्रांसफर होता है और एक संक्षिप्त आउटपुट फॉर्मेट के माध्यम से लेटेंसी-प्रदर्शन समझौते को बेहतर बनाता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि मौजूदा VLMs और विशेष गार्डरेल नीति परिवर्तनों के तहत भंगुर बने रहते हैं, जबकि PolicyShiftGuard नीति-संवेदनशील प्रदर्शन को काफी बेहतर बनाता है।