新しい研究は、大規模言語モデルが実質的な社会的問題について一貫した立場を持っているかどうかを、イデオロギー的陣営内の不一致を捉えた新規の extsc{HardChoices} データセットを使用して評価している。
- この研究は、高レベルな左翼-右翼や進歩的-保守的な次元を超えて、具体的な政策の対立を調査する。
- 大規模モデルと小規模モデルの両方とも、これらの質問に直面した際に中立性を宣言することはほとんどない。
- モデルは一貫性の欠如を示すことが多いが、立場を取る問題については驚くべき程度の合意を示している。
この結果は、LLMsがポストトレーニングで誘導可能ではあるものの、複雑な社会的事項に対して堅固で独立した立場を持たないことを示唆している。