A Hume introduziu o Real World VoiceEQ, um benchmark projetado para avaliar a qualidade humana da interação por voz, analisando o quão bem os sistemas reconhecem e produzem informações acústicas além das transcrições. O benchmark avalia mais de 40 modelos proprietários e open-source em mais de 15 dimensões, utilizando mais de 60 métricas derivadas de 785.000 avaliações humanas de TTS e 48.000 de STS.
- A avaliação cobre capacidades de ASR, TTS, S2S e Compreensão de Fala.
- Os dados originam-se da plataforma Kairos com mais de 1 milhão de avaliações humanas individuais em diversas demografias e ambientes.
- As descobertas mostram que não há um único modelo de voz "melhor", pois os sistemas são otimizados para diferentes pontos fortes, como precisão técnica versus compreensão emocional.
- Benchmarks tradicionais são insuficientes para condições do mundo real, com desempenho variando significativamente em sotaques, ruído e emoção.
- Modelos de linguagem automática (SLM) mostraram menor concordância com humanos em tarefas subjetivas comparado às verificáveis.
O benchmark visa estender o paradigma de métricas quantitativas, fornecendo um método de avaliação fundamentado no humano para interações de voz sintética em conversas reais complexas.