研究者らは、生成系言語モデルのアップストリーム評価手法である相対確率関連性指標（RPAM）を発表しました。これは埋め込みまたは継続確率を分析して潜在的な関連性を評価するものです。

  • RPAMは、変数として生成されるテキストに依存するのではなく、根本的なレベルでモデルを検証することで、ダウンストリーム指標の汎化限界を克服するように設計されています。
  • この指標は、WEAT-WS、Bellezza、WS-353、SST2などのデータセットを用いて、Mistral-7B-Instruct、Mistral-7B、GPT-2でテストされました。
  • 結果は、RPAMの測定値が人間の暗黙的・明示的関連性およびダウンストリームタスクで測定されたバイアスと強い関係にあることを示しており、適用可能な箇所では従来の最高記録を上回っています。

RPAMは、現実世界の関連性と強い関係性を明らかにする手法を提供することで、アップストリーム指標のギャップに対処し、異なる言語モデル間で体系的な分析を可能にします。