Este estudo relata a confiabilidade empírica dos modelos Gemini (2.5 Flash, 3.5 Flash e 3.1 Pro) atuando como juízes de áudio que pontuam conversas de agentes full-duplex diretamente a partir de formas de onda estéreo brutas.
- O Gemini 2.5 Flash serviu como modelo ground-truth, validado contra três avaliadores humanos calibrados em 209 sessões estéreo em 8 dimensões de produção.
- Em 5 das 8 dimensões, o rho de Spearman LALM-humano desviou-se do rho humano-pares em no máximo 0.07, com intervalos de confiança sobrepostos em 7 das 8 dimensões.
- O Gemini 3.5 Flash melhorou o acordo simples para 8 das 8 dimensões, enquanto o 3.1 Pro avaliou várias dimensões marcadamente abaixo dos humanos apesar da correlação de postos comparável.
- O LALM é tão sensível quanto os humanos ou melhor em 45 das 48 células de dimensão de defeito, embora a maioria sejam nulos subdimensionados em vez de paridade demonstrada.
- A avaliação humana custa aproximadamente duas ordens de magnitude a mais do que a carga de trabalho equivalente do LALM para a cadência avaliada.
Os dados fornecem uma base empírica defensável para implantar o LALM como substituto ou quarto avaliador nas dimensões onde as evidências o apoiam, embora as trocas de modelo exijam validação específica de calibração.