A NVIDIA lançou o Nemotron-Labs-Audex-30B-A3B (Audex), um grande modelo de linguagem unificado de áudio e texto construído sobre a base Nemotron-Cascade-2-30B-A3B. O modelo utiliza um único decodificador Transformer para processar tokens de áudio e texto uniformemente, permitindo uma fusão multimodal robusta sem sacrificar as capacidades de raciocínio ou agênticas do seu predecessor apenas de texto.

  • O Audex é treinado em 157.4B tokens de áudio e 320.5B tokens de texto usando treinamento supervisionado por estágios.
  • A arquitetura trata tokens de texto e tokens de saída de áudio quantizados uniformemente durante a geração.
  • O treinamento inclui RL em cascata apenas para texto e destilação on-policy multi-domínio.
  • O modelo alcança desempenho de ponta em compreensão de áudio, reconhecimento de fala, tradução, texto para fala, geração de áudio e geração de fala para fala.
  • Os checkpoints são lançados para facilitar a pesquisa aberta.

O lançamento visa fornecer uma solução unificada para tarefas de inteligência de áudio enquanto mantém o raciocínio de alto nível e a retenção de conhecimento do modelo de texto subjacente.