보상 게이트를 통한 CLIP의 선택적 테스트 타임 편향 제거

연구자들은 Reward-Gated Test-Time Adaptation (RG-TTA) 를 소개했다. 이는 강화 학습 기반 프레임워크로, 입력 편향 민감도에 따라 Vision Language Models 에 선택적으로 편향을 제거한다. 이 접근 방식은 균일한 보정 방법에 내재된 공정성-유틸리티 트레이드오프를 해결하며, 편향 민감 쿼리에 대해서만 정규화를 적응적으로 적용한다.

• RG-TTA 는 각 입력의 편향 민감도에 기반하여 테스트 타임 정책 적응 중에 공정성 정규화를 적응적으로 트리거한다.
• 이 프레임워크는 의미 정보를 보존하기 위해 편향 비민감 입력에 대한 크로스모달 정렬 최적화에 전념한다.
• FairFace 및 UTKFace 벤치마크에서의 실험은 제로샷 유틸리티를 동시에 향상시키면서 상당한 편향 감소를 보여준다.