RPAM: metrik terprinsip untuk mengevaluasi asosiasi dalam model bahasa

Peneliti memperkenalkan Relative Probability Association Metric (RPAM), sebuah metode evaluasi upstream untuk model bahasa generatif yang menganalisis embedding atau probabilitas kelanjutan untuk menilai asosiasi mendasar.

• RPAM dirancang untuk mengatasi batas generalisasi metrik downstream dengan memeriksa model pada tingkat fundamental daripada mengandalkan teks hasil generasi variabel.
• Metrik ini diuji pada Mistral-7B-Instruct, Mistral-7B, dan GPT-2 menggunakan dataset termasuk WEAT-WS, Bellezza, WS-353, dan SST2.
• Hasil menunjukkan hubungan kuat antara pengukuran RPAM dan asosiasi implisit/eksplisit manusia serta bias yang diukur dalam tugas downstream, mengungguli nilai rekor sebelumnya di mana berlaku.

RPAM mengatasi kesenjangan metrik upstream dengan menyediakan metode yang mengungkap hubungan kuat dengan asosiasi dunia nyata, memungkinkan analisis terprinsip melintasi berbagai model bahasa.