Peneliti memperkenalkan PolicyShiftBench, sebuah benchmark dengan 2.000 instance di atas 265 gambar, untuk mengevaluasi apakah model beradaptasi terhadap kebijakan keamanan aktif daripada mengandalkan prior tingkat gambar. Mereka juga mengusulkan PolicyShiftGuard, sebuah model kompak 7B yang dilatih melalui Randomized Policy SFT dan Boundary-Pair Policy Adaptation untuk menangani pergeseran kebijakan.

  • PolicyShiftBench memasangkan setiap gambar dengan rata-rata 7,55 prompt bersyarat kebijakan untuk menguji adaptasi terhadap definisi kebijakan yang dihold-out.
  • PolicyShiftGuard menggunakan resep pelatihan dua tahap yang menggabungkan RP-SFT dengan BP-Adapt, yang memisahkan kebijakan pemblokiran dan pengalihan melalui loss perbandingan berpasangan.
  • Model ini mencapai kinerja state-of-the-art pada PolicyShiftBench dengan skor Avg. F1 76,9 dan Avg. PSS 72,1.
  • Model ini mentransfer dengan baik ke UnSafeBench dan SafeEditBench sambil meningkatkan trade-off latensi-kinerja melalui format output yang ringkas.

Para penulis menganggap hal ini penting karena VLM yang ada dan guardrails khusus tetap rapuh di bawah pergeseran kebijakan, sedangkan PolicyShiftGuard secara substansial meningkatkan kinerja sensitif kebijakan.