RPAM: métrica fundamentada para avaliar associações em modelos de linguagem

Pesquisadores introduzem a Métrica de Associação de Probabilidade Relativa (RPAM), um método de avaliação upstream para modelos de linguagem generativos que analisa embeddings ou probabilidades de continuação para avaliar associações subjacentes.

• RPAM é projetado para superar os limites de generalização de métricas downstream ao examinar modelos em um nível fundamental, em vez de depender de texto gerado variável.
• A métrica foi testada no Mistral-7B-Instruct, Mistral-7B e GPT-2 usando conjuntos de dados incluindo WEAT-WS, Bellezza, WS-353 e SST2.
• Os resultados mostram uma forte relação entre as medições do RPAM e tanto as associações implícitas/explícitas humanas quanto os vieses medidos em tarefas downstream, superando valores de recorde anteriores quando aplicável.

RPAM aborda a lacuna nas métricas upstream fornecendo um método que descobre fortes relações com associações do mundo real, permitindo uma análise fundamentada através de diferentes modelos de linguagem.