Компания Hume представила Real World VoiceEQ, бенчмарк, предназначенный для оценки качества человеческого взаимодействия с голосом путем анализа того, насколько хорошо системы распознают и воспроизводят акустическую информацию помимо текстовой транскрипции. Бенчмарк оценивает более 40 проприетарных и open-source моделей по более чем 15 измерениям с использованием свыше 60 метрик, полученных на основе 785 000 оценок TTS и 48 000 оценок STS от людей.
- Оценка охватывает возможности ASR, TTS, S2S и понимания речи.
- Данные получены с платформы Kairos и включают более 1 миллиона индивидуальных человеческих оценок по различным демографическим группам и условиям.
- Результаты показывают отсутствие единой «лучшей» голосовой модели, поскольку системы оптимизируются под разные сильные стороны, такие как техническая точность против эмоционального понимания.
- Традиционные бенчмарки недостаточны для реальных условий, так как производительность значительно варьируется в зависимости от акцента, шума и эмоций.
- Автоматические языковые модели речи (SLM) показали более низкое согласие с людьми по субъективным задачам по сравнению с проверяемыми.
Бенчмарк стремится расширить парадигму количественных метрик, предоставляя метод оценки, основанный на человеческом восприятии, для синтетических голосовых взаимодействий в сложных реальных разговорах.