作者提出了 RITA，一种通过将测试时的估计从样本级转向分布级对齐，从而提升预训练视觉语言模型对抗鲁棒性的框架。

  • RITA 使用最优传输将增强的视觉特征与文本原型对齐，以缓解对抗性异常值并修正跨模态语义不对齐。
  • 动态缓存逐步累积测试流中的可靠线索，用于在线精炼。
  • 实验表明，RITA 在不损害干净准确率的情况下显著提升了抗对抗鲁棒性。