Une nouvelle étude évalue si les grands modèles de langage maintiennent des positions cohérentes sur des enjeux sociétaux substantiels en utilisant le nouveau jeu de données extsc{HardChoices}, qui capture les désaccords au sein des camps idéologiques.
- La recherche va au-delà des dimensions haut niveau gauche-droite ou progressiste-conservatrice pour examiner des conflits politiques spécifiques.
- Les grands et petits LLM déclarent rarement leur neutralité face à ces questions.
- Les modèles affichent souvent une incohérence mais montrent un degré remarquable d'accord sur les questions où ils prennent position.
Les résultats suggèrent que bien que les LLM puissent être orientés lors du post-entraînement, ils manquent de positions robustes et indépendantes sur des questions sociétales complexes.