Une étude évalue AMALIA, un modèle portugais européen de 9 milliards de paramètres, et constate qu'il ne peut pas mesurer valablement la base morale de l'autorité malgré un accord élevé avec les codeurs humains. Bien qu'AMALIA atteigne des scores d'accord bruts équivalents à des modèles ouverts huit à treize fois plus grands, il échoue à retrouver ses performances lorsque les prompts sont décomposés en clauses atomiques, ce qui suggère une dépendance aux corrélats de surface comme l'indignation morale plutôt qu'aux constructions théoriques.

  • AMALIA est en accord avec les codeurs humains entraînés dans une marge de 6 points F1 par rapport aux modèles ouverts plus grands.
  • La décomposition ne récupère qu'environ la moitié des performances holistiques d'AMALIA, indiquant un échec à suivre la théorie du construit.
  • Un LLM multilingue open source comble cet écart sur le même corpus portugais, orientant l'explication loin du corpus lui-même.

L'étude soutient que les batteries de benchmark des LLM souverains devraient tester non seulement l'accord avec les codeurs humains, mais aussi la voie probante par laquelle cet accord est justifié.