一项研究评估了葡萄牙的 AMALIA（一个面向欧洲葡萄牙语的、公共资助的 9B 参数模型），发现尽管它与人工编码者达成高度一致，但仍无法可靠地测量“权威”这一理论构念。研究表明，虽然 AMALIA 与经过训练的人工标注者在 F1 分数上相差在六点以内，但它依赖的是道德愤怒等表面相关性，而非底层理论。

  • 该研究使用“恢复差距（recovery gap）”指标来测试有效性，方法是将整体提示分解为原子子句，并通过显式规则重新组合。
  • 分解仅恢复了 AMALIA 整体性能的一半左右，表明该模型未能遵循该构念的理论框架。
  • 一个开源的多语言 LLM 在同一葡萄牙语语料库上成功缩小了这一差距，表明问题出在 AMALIA 而非语料库。
  • 作者认为，主权 LLM 基准测试必须检验一致性的证据路径，而不仅仅是同意分数本身。

研究结果表明，虽然 AMALIA 可以大规模进行筛选和预编码，但它目前还不足以单独作为一个有效的测量工具。