RITA는 테스트 시간 프롬프트 적응을 통해 비전-언어 모델의 견고성을 강화합니다

저자들은 RITA를 제안합니다. 이는 사전 학습된 비전-언어 모델의 적대적 견고성을 샘플 수준 추정에서 분포 수준 정렬로 전환하여 향상시키는 프레임워크입니다.

• RITA는 최적 운송을 사용하여 증강된 시각적 특징과 텍스트 프로토타입을 정렬하고, 적대적 이상치를 완화하며 교차 모달 의미론적 불일치를 보정합니다.
• 동적 캐시는 온라인 정제를 위해 테스트 스트림에서 신뢰할 수 있는 단서를 점진적으로 축적합니다.
• 실험 결과 RITA가 깨끗한 정확도를 희생하지 않고 적대적 견고성을 크게 향상시킴을 보여줍니다.