Новое исследование оценивает, придерживаются ли большие языковые модели последовательных позиций по существенным общественным вопросам с использованием нового набора данных extsc{HardChoices}, который фиксирует разногласия внутри идеологических лагерей.

  • Исследование выходит за рамки высокоуровневых измерений «левые-правые» или «прогрессивные-консервативные», чтобы изучить конкретные конфликты по политикам.
  • Как большие, так и малые LLM редко заявляют о нейтралитете, сталкиваясь с этими вопросами.
  • Модели часто демонстрируют несогласованность, но проявляют удивительную степень согласия по вопросам, по которым они всё же занимают позицию.

Результаты указывают на то, что, хотя LLM можно направлять в процессе постобучения, им не хватает устойчивых, независимых позиций по сложным общественным вопросам.