Les auteurs proposent RITA, un cadre qui améliore la robustesse adversariale des Modèles Vision-Langue pré-entraînés en passant d'estimations au niveau de l'échantillon à un alignement au niveau de la distribution pendant le test.
- RITA utilise le transport optimal pour aligner les caractéristiques visuelles augmentées avec des prototypes textuels, atténuant les valeurs aberrantes adversariales et corrigeant le désalignement sémantique inter-modal.
- Un cache dynamique accumule progressivement des indices fiables du flux de test pour un raffinement en ligne.
- Les expériences montrent que RITA améliore significativement la robustesse adversariale sans compromettre la précision sur des données propres.