NVIDIA ha lanzado Nemotron 3 Diarization, un modelo de pesos abiertos con 100M de parámetros para diarización de hablantes en tiempo real que admite hasta ocho hablantes. El modelo ocupa el puesto #1 en la lista de clasificación Diarization-Bench de VoiceArena con una Tasa de Error de Diarización (DER) del 14.72%, superando al siguiente sistema clasificado con una reducción relativa aproximada del 24%.

  • Admite hasta ocho canales de hablantes y maneja el habla superpuesta utilizando el ordenamiento por tiempo de llegada para etiquetas estables de hablante.
  • Logró un DER del 14.72% en la prueba de referencia de VoiceArena, en comparación con el 19.3% del sistema en segundo lugar.
  • Entrenado con datos públicos y conversaciones multispeaker licenciadas de David AI, lo que disminuyó el DER compuesto en 0.77 puntos absolutos.
  • Ofrece latencia de transmisión configurable con latencias recomendadas del búfer de entrada de 30.4, 1.04, 0.64 y 0.32 segundos.
  • Demuestra una reducción media relativa del DER del 41.0% en ocho pruebas de referencia públicas en comparación con la línea base anterior de NVIDIA Streaming Sortformer para cuatro hablantes.

El modelo permite a las aplicaciones crear transcripciones atribuidas a hablantes combinando marcas de tiempo de diarización con reconocimiento automático del habla, mejorando la utilidad del análisis de conversaciones y la memoria de agentes de voz.