Para penulis mengusulkan RITA, sebuah kerangka kerja yang meningkatkan ketahanan adversarial dari Model Visi-Bahasa yang telah dilatih sebelumnya dengan beralih dari estimasi tingkat sampel ke penyesuaian tingkat distribusi selama waktu pengujian.

  • RITA menggunakan transportasi optimal untuk menyesuaikan fitur visual yang diperkuat dengan prototipe teks, mengurangi outlier adversarial dan memperbaiki ketidaksesuaian semantik lintas-modal.
  • Cache dinamis secara progresif mengakumulasi petunjuk andal dari aliran pengujian untuk penyempurnaan daring.
  • Eksperimen menunjukkan bahwa RITA secara signifikan meningkatkan ketahanan adversarial tanpa mengorbankan akurasi bersih.