Pesquisadores introduzem o SPEARBench, um benchmark projetado para avaliar a naturalidade de modelos de linguagem de fala para fala em streaming durante interações de pergunta e resposta.
- O benchmark constrói prompts de diálogo controlados a partir do corpus Seamless Interaction e executa inferência em múltiplos modelos.
- Ele utiliza um protocolo de avaliação multidimensional que cobre latência de resposta, interrupções, qualidade da fala, robustez ASR, consistência de idioma e dialeto, naturalidade emocional, postura interpessoal e linhas de base distribucionais explicáveis.
- As respostas humanas originais servem como condição de referência para comparação.
Os resultados indicam que, embora os modelos atuais alcancem alta qualidade em nível de sinal e baixo erro ASR, eles ainda diferem do comportamento conversacional humano em latência, sobreposição, preservação de dialeto, adaptação emocional e dinâmica de postura interpessoal.