NVIDIAは、リアルタイムのフルデュプレックス会話のために設計されたオープンな11Bパラメータのエンドツーエンド音声対話モデルであるNemotronLabs VoiceChat 11Bをリリースした。ASR、LLM、TTSをチェーンするカスケード型スタックとは異なり、この統合ネットワークはストリーミング音声の理解と生成を同時に実行し、Full-Duplex-Bench 1.0で測定されたスムーズなターンテイクレイテンシ448msを達成した。

  • アーキテクチャは、Fast Conformerエンコーダ、Nemotron Nano v2 LLMバックボーン、およびNVIDIA TTSデコーダを組み合わせており、約550万時間のオーディオでトレーニングされている。
  • <TOOLCALL>スクリプト用の別出力チャネルを介してライブツールコールをサポートし、オペレーターがAPI呼び出し中の無音（デッドエア）を防ぐために「保留中」メッセージを定義できる。
  • モデルはターン中にユーザーが割り込める機能を備えており、480msで1.00のテイクオーバー率を実現し、VoiceBenchにおいてオープンなフルデュプレックスモデルの中で2位にランクインしている。
  • 重みは寛容なOpenMDW-1.1ライセンスの下で公開されているが、NVIDIAはコンテキスト上限などの既知の失敗モードがあるため、チェックポイントは研究目的のみに対応可能とラベル付けしている。
  • デプロイメントにはA100やH100など少なくとも80 GBのVRAMを備えた単一GPUが必要であり、現在ホストされたAPIは提供されていない。

今回のリリースにより、コンタクトセンター、自動車アシスタント、アクセシビリティツールリングでのパイロット導入に向けたデプロイ可能なオプションが提供されるが、まだ本番環境での使用は推奨されていない。