一项研究评估了葡萄牙的 AMALIA（一个拥有 90 亿参数的欧洲葡萄牙语模型），发现尽管它与人工编码员的高度一致，却无法有效衡量权威的道德基础。虽然 AMALIA 在原始一致性得分上相当于其大小八到十三倍的开源模型，但在将提示分解为原子子句时未能恢复性能，这表明它依赖于如道德愤怒等表面相关性，而非理论构造。

  • AMALIA 与经过训练的人工编码员的一致性在 F1 分数上相差六个点，优于更大的开源模型。
  • 分解仅恢复了 AMALIA 整体性能的一半左右，表明其未能遵循该构造的理论。
  • 一个开源多语言 LLM 在同一葡萄牙语语料库上缩小了这一差距，排除了语料库作为主要解释的可能性。

该研究认为，主权 LLM 基准测试套件不仅应测试与人工编码员的一致性，还应测试这种一致性得以确立的证据路径。