NVIDIA는 Nemotron-Cascade-2-30B-A3B 백본 위에 구축된 통합 오디오-텍스트 대규모 언어 모델인 Nemotron-Labs-Audex-30B-A3B(Audex)를 출시했습니다. 이 모델은 단일 Transformer 디코더를 사용하여 오디오와 텍스트 토큰을 균일하게 처리하며, 텍스트 전용 전작의 추론 및 에이전트 기능을 희생하지 않고 강력한 멀티모달 융합을 가능하게 합니다.

  • Audex는 다단계 지도 학습을 통해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 훈련되었습니다.
  • 아키텍처는 생성 시 텍스트 토큰과 양자화된 오디오 출력 토큰을 균일하게 처리합니다.
  • 훈련에는 텍스트 전용 Cascade RL 및 멀티도메인 온-policy 증류가 포함됩니다.
  • 이 모델은 오디오 이해, 음성 인식, 번역, 텍스트-음성 변환, 오디오 생성, 음성-음성 생성에서 최첨단 성능을 달성했습니다.
  • 오픈 연구를 촉진하기 위해 체크포인트가 공개되었습니다.

이번 출시는 기반이 되는 텍스트 모델의 고급 추론 및 지식 보존을 유지하면서 오디오 인텔리전스 작업을 위한 통합 솔루션을 제공하는 것을 목표로 합니다.