Компания NVIDIA выпустила Nemotron 3 Diarization — модель с открытыми весами на 100 млн параметров для диаризации говорящих в реальном времени, поддерживающую до восьми говорящих. Модель занимает первое место в рейтинге VoiceArena's Diarization-Bench с ошибкой диаризации (DER) 14,72%, превосходя следующую по рангу систему примерно на 24% относительного снижения.
- Поддерживает до восьми каналов для говорящих и обрабатывает перекрывающуюся речь с помощью упорядочивания по времени появления для стабильных меток говорящих.
- Достигла DER 14,72% на бенчмарке VoiceArena по сравнению с 19,3% у системы на втором месте.
- Обучена на публичных данных и лицензированных многоговорящих разговорах от David AI, что снизило составную ошибку диаризации (DER) на 0,77 абсолютных пункта.
- Предлагает настраиваемую задержку потоковой передачи с рекомендуемыми значениями задержки входного буфера: 30,4, 1,04, 0,64 и 0,32 секунды.
- Демонстрирует среднее относительное снижение DER на 41,0% по восьми публичным бенчмаркам по сравнению с базовой моделью NVIDIA Streaming Sortformer для четырех говорящих.
Модель позволяет приложениям создавать транскрипты с атрибуцией говорящих путем объединения временных меток диаризации с автоматическим распознаванием речи, повышая полезность аналитики разговоров и памяти голосовых агентов.