Los autores proponen RITA, un marco que mejora la robustez adversarial de los Modelos de Visión y Lenguaje preentrenados al cambiar de estimaciones a nivel de muestra a alineación a nivel de distribución durante el tiempo de prueba.
- RITA utiliza transporte óptimo para alinear las características visuales aumentadas con prototipos textuales, mitigando valores atípicos adversarios y corrigiendo la desalineación semántica entre modalidades.
- Una caché dinámica acumula progresivamente señales confiables del flujo de prueba para el refinamiento en línea.
- Los experimentos muestran que RITA mejora significativamente la robustez adversarial sin comprometer la precisión en datos limpios.