RPAM: métrica fundamentada para evaluar asociaciones en modelos de lenguaje

Los investigadores presentan la Métrica de Asociación de Probabilidad Relativa (RPAM), un método de evaluación upstream para modelos de lenguaje generativos que analiza incrustaciones o probabilidades de continuación para evaluar las asociaciones subyacentes.

• RPAM está diseñado para superar los límites de generalización de las métricas downstream al examinar los modelos a un nivel fundamental en lugar de depender del texto generado variable.
• La métrica se probó en Mistral-7B-Instruct, Mistral-7B y GPT-2 utilizando conjuntos de datos que incluyen WEAT-WS, Bellezza, WS-353 y SST2.
• Los resultados muestran una fuerte relación entre las mediciones de RPAM y tanto las asociaciones implícitas/explícitas humanas como los sesgos medidos en tareas downstream, superando los valores récord anteriores cuando corresponde.

RPAM aborda la brecha en las métricas upstream proporcionando un método que descubre fuertes relaciones con asociaciones del mundo real, permitiendo un análisis fundamentado a través de diferentes modelos de lenguaje.