Hume ha presentado Real World VoiceEQ, un benchmark diseñado para evaluar la calidad humana de la interacción por voz mediante la evaluación de cuán bien los sistemas reconocen y producen información acústica más allá de las transcripciones. El benchmark evalúa más de 40 modelos propietarios y de código abierto en más de 15 dimensiones utilizando más de 60 métricas derivadas de 785,000 valoraciones humanas de TTS y 48,000 de STS.

  • La evaluación cubre capacidades de ASR, TTS, S2S y Comprensión del Habla.
  • Los datos provienen de la plataforma Kairos con más de 1 millón de valoraciones humanas individuales en diversas demografías y entornos.
  • Los hallazgos muestran que no existe un único modelo de voz "mejor", ya que los sistemas se optimizan para diferentes fortalezas como la precisión técnica frente a la comprensión emocional.
  • Los benchmarks tradicionales son insuficientes para condiciones del mundo real, con un rendimiento que varía significativamente según acentos, ruido y emoción.
  • Los modelos de lenguaje automático (SLM) mostraron menor acuerdo con los humanos en tareas subjetivas en comparación con las verificables.

El benchmark tiene como objetivo extender el paradigma de las métricas cuantitativas proporcionando un método de evaluación basado en humanos para interacciones de voz sintética en conversaciones reales complejas.