ポルトガルのAMALIA（9Bパラメータのヨーロッパポルトガル語モデル）を評価した研究は、人間のコーダーとの高い同意があるにもかかわらず、権威という道徳的基盤を有効に測定できないことを発見した。AMALIAは生の同意スコアにおいて、自身の8倍から13倍の規模を持つオープンモデルと同等の結果を示すが、プロンプトを原子節に分解するとパフォーマンスが回復せず、理論的構成要素ではなく道徳的な怒りなどの表面相関に依存している可能性を示唆している。

  • AMALIAは、より大規模なオープンモデルと比較して、訓練された人間のコーダーとの同意度がF1スコアで6ポイント以内である。
  • 分解によりAMALIAの全体的なパフォーマンスの約半分が回復するのみであり、構成要素の理論に従えていないことを示している。
  • 同じポルトガル語コーパスにおいて、オープンな多言語LLMがこのギャップを埋めており、コーパス自体が主な説明要因ではないことを示唆している。

本研究は、主権的なLLMベンチマークバッテリーは、人間のコーダーとの同意だけでなく、その同意がどのようにして正当化されるかの証拠経路もテストすべきだと主張している。