著者らは、RITAを提案する。これは、テスト時にサンプルレベルの推定から分布レベルのアライメントへ移行することで、事前学習済みビジョン言語モデルの敵対的堅牢性を高めるフレームワークである。

  • RITAは最適輸送を用いて、拡張された視覚特徴とテキストプロトタイプをアライメントし、敵対的外れ値を緩和し、クロスモーダルな意味論的不整合を補正する。
  • ダイナミックキャッシュは、オンラインでの微調整のためにテストストリームから信頼できるシグナルを段階的に蓄積する。
  • 実験により、RITAがクリーンな精度を損なうことなく敵対的堅牢性を大幅に向上させることが示された。