Исследователи представляют SPEARBench, бенчмарк, предназначенный для оценки естественности потоковых моделей преобразования речи в речь во время взаимодействия по принципу вопрос-ответ.
- Бенчмарк формирует контролируемые диалоговые промпты из корпуса Seamless Interaction и запускает инференс на нескольких моделях.
- Он использует многомерный протокол оценки, охватывающий задержку ответа, прерывания, качество речи, устойчивость ASR, согласованность языка и диалекта, эмоциональную естественность, межличностную позицию и объяснимые распределительные базовые линии.
- Оригинальные ответы людей служат эталоном для сравнения.
Результаты показывают, что, хотя текущие модели достигают высокого качества на уровне сигнала и низкой ошибки ASR, они все еще отличаются от человеческого коммуникативного поведения по задержке, перекрытию, сохранению диалекта, эмоциональной адаптации и динамике межличностной позиции.