Un estudio evalúa el modelo portugués europeo AMALIA de 9B parámetros, encontrando que no puede medir válidamente la base moral de la autoridad a pesar del alto acuerdo con los codificadores humanos. Aunque AMALIA iguala a los modelos abiertos en ocho a trece veces su tamaño en puntuaciones de acuerdo bruto, falla al recuperar el rendimiento cuando los prompts se descomponen en cláusulas atómicas, lo que sugiere una dependencia de correlatos superficiales como la indignación moral en lugar de constructos teóricos.
- AMALIA coincide con codificadores humanos entrenados dentro de seis puntos F1 de modelos abiertos más grandes.
- La descomposición recupera solo alrededor de la mitad del rendimiento holístico de AMALIA, indicando un fallo para seguir la teoría del constructo.
- Un LLM multilingüe abierto cierra esta brecha en el mismo corpus portugués, alejando al corpus como la principal explicación.
El estudio argumenta que las baterías de benchmarks de LLM soberanos deben probar no solo el acuerdo con los codificadores humanos, sino la ruta evidencial mediante la cual se justifica ese acuerdo.