Um estudo avalia o AMALIA de Portugal, um modelo de português europeu com 9B de parâmetros, encontrando que ele não pode medir validamente a base moral da autoridade apesar do alto acordo com codificadores humanos. Embora o AMALIA iguale modelos abertos oito a treze vezes seu tamanho em pontuações de acordo bruto, ele falha em recuperar o desempenho quando os prompts são decompostos em cláusulas atômicas, sugerindo dependência de correlatos superficiais como indignação moral em vez de construtos teóricos.
- O AMALIA concorda com codificadores humanos treinados dentro de seis pontos F1 de modelos abertos maiores.
- A decomposição recupera apenas cerca de metade do desempenho holístico do AMALIA, indicando uma falha em seguir a teoria do construto.
- Um LLM multilíngue aberto fecha essa lacuna no mesmo corpus português, afastando o corpus como a principal explicação.
O estudo argumenta que as baterias de benchmark de LLMs soberanos devem testar não apenas o acordo com codificadores humanos, mas a rota evidencial pela qual esse acordo é justificado.