Une étude évalue l'AMALIA du Portugal, un modèle de 9 milliards de paramètres financé publiquement pour le portugais européen, et constate qu'il ne peut pas mesurer de manière fiable la construction théorique de « l'autorité » bien qu'il atteigne un accord élevé avec les codeurs humains. La recherche démontre que, bien que l'AMALIA soit en accord avec les annotateurs humains formés à moins de 6 points F1, elle s'appuie sur des corrélats de surface comme l'indignation morale plutôt que sur la théorie sous-jacente.
- L'étude utilise une métrique de « gap de récupération » pour tester la validité en décomposant les invites holistiques en clauses atomiques et en les recombinant via des règles explicites.
- La décomposition ne récupère qu'environ la moitié de la performance holistique de l'AMALIA, indiquant que le modèle ne suit pas le cadre théorique de la construction.
- Un LLM multilingue open source a réussi à combler ce gap sur le même corpus portugais, suggérant que l'échec réside dans l'AMALIA plutôt que dans le corpus.
- Les auteurs soutiennent que les benchmarks des LLM souverains doivent tester la voie de l'accord probant, et non seulement le score d'accord lui-même.
Les résultats suggèrent que, bien que l'AMALIA puisse effectuer un dépistage et une pré-codification à grande échelle, elle ne peut pas encore mesurer cette construction suffisamment bien pour se tenir seule en tant qu'instrument valide.