研究人员引入了相对概率关联性度量（RPAM），这是一种用于生成式语言模型的上游评估方法，通过分析嵌入或延续概率来评估底层关联性。

  • RPAM旨在通过从根本层面检查模型而不是依赖可变生成的文本来克服下游指标的泛化限制。
  • 该指标在Mistral-7B-Instruct、Mistral-7B和GPT-2上进行了测试，使用的数据集包括WEAT-WS、Bellezza、WS-353和SST2。
  • 结果显示RPAM测量值与下游任务中测量的隐性/显性人类关联以及偏见之间存在强相关性，在适用的情况下优于先前的记录值。

RPAM通过提供一种揭示与现实世界关联性之间强相关性的方法，解决了上游指标的空白，从而能够对不同的语言模型进行原则性分析。