一项新研究评估大型语言模型是否使用新颖的 extsc{HardChoices} 数据集对实质性的社会问题持有一致的立场,该数据集捕捉了意识形态阵营内部的分歧。

  • 这项研究超越了宏观的左右或进步-保守维度,以考察具体的政策冲突。
  • 面对这些问题时,大型和小型 LLM 很少声明中立。
  • 模型经常表现出不连贯性,但在它们确实采取立场的问题上显示出惊人的共识程度。

研究结果表明,虽然 LLM 可以在后训练阶段被引导,但它们缺乏对复杂社会问题的稳健、独立立场。