Um novo estudo avalia se grandes modelos de linguagem mantêm posições consistentes sobre questões sociais substanciais usando o novo conjunto de dados extsc{HardChoices}, que captura desacordos dentro de campos ideológicos.
- A pesquisa vai além das dimensões gerais esquerda-direita ou progressista-conservadora para examinar conflitos específicos de políticas.
- Tanto LLMs grandes quanto pequenos raramente declaram neutralidade ao enfrentar essas perguntas.
- Os modelos frequentemente exibem incoerência, mas mostram um grau notável de acordo sobre questões nas quais realmente tomam uma posição.
Os achados sugerem que, embora os LLMs possam ser direcionados durante o pós-treinamento, eles carecem de posições robustas e independentes sobre assuntos sociais complexos.