Um estudo audita atalhos em nível de protocolo em modelos de linguagem grandes para áudio (LALMs) usados como juízes automáticos para avaliação de fala, revelando que um alto acordo com as classificações humanas não garante que os vereditos estejam fundamentados no áudio real. A pesquisa examina três protocolos de implantação: julgamento por blueprint de características, julgamento condicionado a referência e comparação emparelhada A/B entre seis juízes e quatro atributos.
- No julgamento por blueprint de características, rótulos incorretos de especialistas reduziram a precisão da emoção para 0.10 ou menos para cinco dos juízes.
- Nas comparações A/B concatenadas, o Qwen3-Omni-Thinking frequentemente selecionou o mesmo slot independentemente das trocas de ordem.
- As descobertas indicam que o acordo agregado pode superestimar a validade dos juízes LALM, a menos que o modelo e o protocolo de avaliação sejam avaliados conjuntamente.
Os autores concluem que cada par modelo-protocolo deve ser avaliado com uma sonda de ataque correspondente para garantir uma avaliação confiável da fala.