Открытая таблица лидеров по TTS была выпущена для решения проблем фрагментации и отсутствия стандартизации в оценке синтеза речи (TTS) за счёт использования объективных метрик вместо опоры исключительно на медленные результаты предпочтений людей, полученные методом арены. Она оценивает модели по понятности, скорости и сходству голоса с использованием Qwen3 ASR и эмбеддингов WavLM.
- Понятность измеряется через ошибку слов/символов (WER/CER) между исходным текстом и расшифровкой сгенерированного аудио.
- Скорость количественно определяется обратным фактором реального времени (RTFx) для пакетного офлайн-вывода и временем до первого аудиосампла (TTFA) для задержки потоковой передачи на GPU H200 и процессорах.
- Сходство голоса рассчитывается с помощью косинусного сходства между эмбеддингами WavLM сгенерированного аудио и эталонного клипа.
- Платформа поддерживает многоязычную оценку, переключаясь между английским WER и символьными оценками для китайского, японского и корейского языков.
- Вкладка «Прослушать» позволяет пользователям сравнивать результаты и голосовать за предпочтения, а вкладка «Потоковая передача» ранжирует модели по TTFA для интерактивных приложений.
Цель таблицы лидеров — успевать за быстрыми выпусками новых TTS-моделей и выделять модели с открытым исходным кодом, которые часто недостаточно представлены в коммерческих аренах, приглашая сообщество предоставлять обратную связь для формирования будущих метрик и наборов данных.