Debiasing Selektif pada Waktu Uji untuk CLIP melalui Gerbang Reward

Peneliti memperkenalkan Reward-Gated Test-Time Adaptation (RG-TTA), sebuah kerangka kerja berbasis pembelajaran penguatan yang secara selektif menerapkan debiasing ke Vision Language Models berdasarkan sensitivitas bias input. Pendekatan ini menyelesaikan trade-off keadilan-utilitas yang melekat pada metode koreksi seragam dengan menyesuaikan regularisasi hanya untuk kueri yang sensitif terhadap bias.

• RG-TTA secara adaptif memicu regularisasi keadilan selama adaptasi kebijakan waktu uji berdasarkan sensitivitas bias setiap input.
• Kerangka kerja ini berfokus secara eksklusif pada mengoptimalkan penyesuaian lintas-modal untuk input yang tidak sensitif terhadap bias guna mempertahankan informasi semantik.
• Eksperimen pada benchmark FairFace dan UTKFace menunjukkan pengurangan bias yang substansial sambil secara bersamaan meningkatkan utilitas zero-shot.