Les chercheurs présentent la Métrique d'Association par Probabilité Relative (RPAM), une méthode d'évaluation en amont pour les modèles de langage génératifs qui analyse les embeddings ou les probabilités de continuation pour évaluer les associations sous-jacentes.
- RPAM est conçu pour surmonter les limites de généralisation des métriques en aval en examinant les modèles à un niveau fondamental plutôt que de s'appuyer sur du texte généré variable.
- La métrique a été testée sur Mistral-7B-Instruct, Mistral-7B et GPT-2 en utilisant des ensembles de données incluant WEAT-WS, Bellezza, WS-353 et SST2.
- Les résultats montrent une forte relation entre les mesures RPAM et les associations implicites/explicites humaines ainsi que les biais mesurés dans les tâches en aval, surpassant les valeurs record antérieures le cas échéant.
RPAM comble le manque de métriques en amont en fournissant une méthode qui révèle des relations fortes avec les associations du monde réel, permettant une analyse rigoureuse à travers différents modèles de langage.