NVIDIAは、リアルタイムのスピーカーダイアライゼーションに対応するオープンウェイトの100MパラメータモデルであるNemotron 3 Diarizationをリリースしました。このモデルは最大8人の話者をサポートしています。

  • VoiceArenaのDiarization-BenchリーダーボードでDER（ダイアライゼーションエラーレート）14.72%を記録し、2位システムと比較して約24%の相対的な誤差率低下を実現しました。
  • 最大8つの話者チャネルをサポートし、到着時間の順序に基づいて重なり合う音声処理を行い、安定した話者ラベルを提供します。
  • VoiceArenaのベンチマークでDER 14.72%を達成し、2位システムとの比較では19.3%の誤差率低下を示しました。
  • David AIから提供された公開データとマルチスピーカー会話を活用してトレーニングされ、複合DERを0.77絶対ポイント減少させました。
  • 構成可能なストリーミングレイテンシを提供し、推奨される入力バッファレイテンシは30.4秒、1.04秒、0.64秒、0.32秒です。
  • NVIDIAの以前の4話者Streaming Sortformerベースラインと比較して、8つの公開ベンチマークで平均41.0%の相対的なDER低下を示しました。

このモデルは、ダイアライゼーションタイムスタンプと自動音声認識を組み合わせることで、会話分析やボイスエージェントメモリなどのアプリケーションに話者属性付きトランスクリプトを作成する機能を提供します。