Nvidia는 Nemotron-Cascade-2-30B-A3B 텍스트 전용 MoE 백본 위에 구축된 통합 오디오-텍스트 대규모 언어 모델인 Nemotron-Labs-Audex-30B-A3B를 출시했습니다. 이 모델은 입력용 오디오 인코더와 출력용 이산 오디오 토큰을 추가하여 원래 아키텍처를 확장하며, 음성 인식, 번역, 텍스트 음성 변환 및 오디오 생성 기능을 가능하게 합니다.

  • 텍스트 전용 전구체가 가진 추론, 정렬, 지식, 장기 컨텍스트, 에이전트 기능을 거의 또는 전혀 성능 저하 없이 유지합니다.
  • 1M 토큰 컨텍스트 길이를 지원하며 "생각" 모드와 "지시" (비생각) 모드 모두에서 작동합니다.
  • 더 작은 Nemotron-Labs-Audex-2B 변형도 제공됩니다.

이 릴리스는 기반이 되는 Cascade 모델의 강력한 성능 특성을 유지하면서 다중 모달 오디오-텍스트 작업을 위한 통합 솔루션을 제공합니다.