NVIDIAは、Nemotron-Cascade-2-30B-A3Bバックボーン上に構築された統一オーディオ・テキスト大規模言語モデルであるNemotron-Labs-Audex-30B-A3B（Audex）をリリースしました。このモデルは単一のTransformerデコーダを使用してオーディオとテキストトークンを均一に処理し、テキストのみの後継者が持つ推論やエージェント機能を犠牲にすることなく、強力なマルチモーダル融合を実現します。

  • Audexは、多段階教師あり学習を用いて157.4Bのオーディオトークンと320.5Bのテキストトークンでトレーニングされています。
  • アーキテクチャは、生成時にテキストトークンと量子化されたオーディオ出力トークンを均一に扱います。
  • トレーニングには、テキストのみのCascade RLとマルチドメインオンポリシー蒸留が含まれます。
  • このモデルは、オーディオ理解、音声認識、翻訳、テキストから音声への変換、オーディオ生成、音声から音声への生成において最先端のパフォーマンスを達成しています。
  • オープンな研究を促進するためにチェックポイントが公開されています。

今回のリリースは、基盤となるテキストモデルの高いレベルの推論と知識保持を維持しつつ、オーディオインテリジェンスタスクに対する統一ソリューションを提供することを目的としています。