ポルトガルのAMALIA（欧州ポルトガル語向けの公的資金による9Bパラメータモデル）に関する研究は、訓練されたアノテーターとの間で高い同意率を達成しているにもかかわらず、「権威」という理論的構成概念を信頼できる形で測定できないことを明らかにした。この調査では、AMALIAが訓練された人間の注釈者に対してF1スコアで6ポイント以内の一致を示すものの、その根底にある理論ではなく道徳的な怒りなどの表面的な相関関係に依存していることが示されている。

  • この研究は、「リカバリーギャップ」指標を用いて妥当性をテストするために、包括的なプロンプトを原子節に分解し、明示的なルールで再結合する手法を採用した。
  • 分解によりAMALIAの包括的パフォーマンスの約半分しか回復できず、モデルが構成概念の理論的枠組みに従えていないことを示唆している。
  • 別のオープンな多言語LLMは、同じポルトガル語コーパスでこのギャップを完全に埋めることに成功しており、失敗の原因はAMALIA自体にある而非コーパスにある可能性を示唆している。
  • 著者らは、主権LLMベンチマークでは同意スコアそのものだけでなく、同意のエビデンシャルルート（証拠経路）をテストする必要があると主張している。

これらの知見は、AMALIAが大規模なスクリーニングや事前コーディングには適しているものの、有効な測定ツールとして単独で機能するにはまだこの構成概念の測定が不十分であることを示唆している。