A NVIDIA lançou o Nemotron 3 Diarization, um modelo com pesos abertos e 100M de parâmetros para diarização de falantes em tempo real que suporta até oito falantes. O modelo ocupa a posição #1 no ranking Diarization-Bench da VoiceArena com uma Taxa de Erro de Diarização (DER) de 14,72%, superando o próximo sistema classificado em aproximadamente 24% de redução relativa.

  • Suporta até oito canais de falantes e lida com fala sobreposta usando ordenação por tempo de chegada para rótulos estáveis de falante.
  • Alcançou uma DER de 14,72% no benchmark da VoiceArena, em comparação com 19,3% do sistema em segundo lugar.
  • Treinado com dados públicos e conversas multilíngues licenciadas da David AI, o que reduziu a DER composta em 0,77 pontos absolutos.
  • Oferece latência de streaming configurável com latências recomendadas do buffer de entrada de 30,4, 1,04, 0,64 e 0,32 segundos.
  • Demonstra uma redução média de DER relativa de 41,0% em oito benchmarks públicos em comparação com a baseline anterior da NVIDIA, o Streaming Sortformer para quatro falantes.

O modelo permite que aplicações criem transcrições atribuídas a falantes ao combinar timestamps de diarização com reconhecimento automático de fala, melhorando a utilidade da análise de conversas e da memória de agentes de voz.