TiCodec предлагает факторизованное представление, которое разделяет изменяющееся во времени речевое содержимое и инвариантную информацию с помощью модуля извлечения инвариантного представления (TIRE). Этот подход направлен на уменьшение объема информации, которую необходимо моделировать на уровне кадров, что облегчает обработку речи с низкой задержкой.
- Задачи зондирования показывают, что промежуточные слои энкодера захватывают дополняющую информацию о говорящем и окружающей среде, содержа при этом мало лингвистического содержания.
- Выборка между файлами во время обучения TIRE повышает устойчивость инвариантных представлений.
- Предлагаемая архитектура Dual-TIRE использует это дополнение для улучшения качества восстановления речи и сходства говорящих.
- Потоковое выполнение с использованием последовательных блоков обработки длительностью 660 мс обеспечивает работу без значительного ухудшения производительности восстановления.
Результаты подчеркивают потенциал факторизованных нейронных представлений кодеков для будущих систем генерации речи с низкой задержкой.