NVIDIA는 실시간 화자 분할을 위한 오픈 가중치 100M 파라미터 모델인 Nemotron 3 Diarization을 출시했으며, 최대 8명의 화자를 지원합니다. 이 모델은 VoiceArena의 Diarization-Bench 리더보드에서 14.72%의 화자 오류율(DER)로 1위를 차지했으며, 이는 다음 순위 시스템보다 약 24% 상대적 감소를 의미합니다.

  • 최대 8개의 화자 채널을 지원하며 도착 시간 순서를 사용하여 겹치는 음성을 처리하고 안정적인 화자 레이블을 제공합니다.
  • VoiceArena 벤치마크에서 14.72%의 DER를 달성했으며, 이는 2위 시스템의 19.3%보다 낮은 수치입니다.
  • 공개 데이터와 David AI로부터 라이선스받은 다중 화자 대화로 학습되었으며, 이로 인해 복합 DER가 절대값으로 0.77 포인트 감소했습니다.
  • 구성 가능한 스트리밍 지연 시간을 제공하며, 권장 입력 버퍼 지연 시간은 각각 30.4초, 1.04초, 0.64초, 0.32초입니다.
  • NVIDIA의 이전 4화자 Streaming Sortformer 기준선과 비교하여 8개 공개 벤치마크 전반에 걸쳐 평균 41.0%의 상대적 DER 감소를 보여줍니다.

이 모델은 화자 분할 타임스탬프와 자동 음성 인식을 결합하여 화자별 전사본을 생성할 수 있게 함으로써 대화 분석 및 음성 에이전트 메모리의 유용성을 향상시킵니다.