Un estudio evalúa AMALIA de Portugal, un modelo de 9B parámetros financiado públicamente para el portugués europeo, encontrando que no puede medir confiablemente el constructo teórico de "autoridad" a pesar de lograr un alto acuerdo con codificadores humanos. La investigación demuestra que, aunque AMALIA está de acuerdo con anotadores humanos entrenados dentro de seis puntos F1, depende de correlatos superficiales como la indignación moral en lugar de la teoría subyacente.
- El estudio utiliza una métrica de "brecha de recuperación" para probar la validez descomponiendo prompts holísticos en cláusulas atómicas y recombinándolos mediante reglas explícitas.
- La descomposición recupera solo alrededor de la mitad del rendimiento holístico de AMALIA, indicando que el modelo no sigue el marco teórico del constructo.
- Una LLM multilingüe de código abierto cierra exitosamente esta brecha en el mismo corpus portugués, sugiriendo que el fallo reside en AMALIA y no en el corpus.
- Los autores argumentan que los benchmarks de LLM soberanos deben probar la ruta evidencial del acuerdo, no solo la puntuación de acuerdo en sí misma.
Los hallazgos sugieren que, aunque AMALIA puede realizar cribado y precodificación a escala, aún no puede medir este constructo lo suficientemente bien como para funcionar por sí sola como un instrumento válido.