Um estudo avalia a AMALIA de Portugal, um modelo de 9B parâmetros financiado publicamente para o português europeu, descobrindo que ele não pode medir confiavelmente o constructo teórico de "autoridade" apesar de alcançar alto acordo com codificadores humanos. A pesquisa demonstra que, embora a AMALIA concorde com anotadores humanos treinados dentro de seis pontos F1, ela depende de correlatos superficiais como indignação moral em vez da teoria subjacente.
- O estudo usa uma métrica de "gap de recuperação" para testar a validade decompondo prompts holísticos em cláusulas atômicas e recombinando-as por meio de regras explícitas.
- A decomposição recupera apenas cerca de metade do desempenho holístico da AMALIA, indicando que o modelo falha em seguir o arcabouço teórico do constructo.
- Uma LLM multilíngue de código aberto fecha com sucesso esse gap no mesmo corpus português, sugerindo que a falha reside na AMALIA e não no corpus.
- Os autores argumentam que benchmarks de LLMs soberanos devem testar a rota evidencial do acordo, não apenas a pontuação de acordo em si.
Os achados sugerem que, embora a AMALIA possa realizar triagem e pré-codificação em escala, ela ainda não pode medir esse constructo suficientemente bem para funcionar sozinha como um instrumento válido.