研究者らは、PolicyShiftBenchを提案しました。これは265枚の画像にわたる2,000件のインスタンスを持つベンチマークで、モデルが画像レベルの事前知識に依存するのではなく、アクティブな安全ポリシーに適応できるかどうかを評価するために使用されます。また、ランダム化ポリシーSFTと境界ペアポリシー適応を通じてトレーニングされたコンパクトな7BモデルであるPolicyShiftGuardも提案し、ポリシーシフトに対応します。

  • PolicyShiftBenchは、各画像に平均7.55件のポリシー条件付きプロンプトを組み合わせ、保持されたポリシー定義への適応性をテストします。
  • PolicyShiftGuardは、RP-SFTとBP-Adaptを組み合わせた2段階のトレーニングレシピを使用し、ペアワイズ比較損失を通じてブロックポリシーとパスポリシーを分離します。
  • このモデルはPolicyShiftBenchで76.9 Avg. F1および72.1 Avg. PSSスコアという最先端のパフォーマンスを達成しました。
  • UnSafeBenchおよびSafeEditBenchへの転移も良好であり、簡潔な出力形式を通じてレイテンシーとパフォーマンスのトレードオフを改善しています。

著者らは、既存のVLMや専門的なガードレールがポリシーシフトの下で脆い状態にあるのに対し、PolicyShiftGuardはポリシー依存のパフォーマンスを大幅に向上させるため、これを重要視しています。