A Nvidia lançou o Nemotron-Labs-Audex-30B-A3B, um grande modelo de linguagem unificado de áudio e texto construído sobre a base MoE Nemotron-Cascade-2-30B-A3B apenas para texto. O modelo estende a arquitetura original com um codificador de áudio para entradas e tokens de áudio discretos para saídas, habilitando capacidades em reconhecimento de fala, tradução, texto-para-fala e geração de áudio.
- Ele mantém as capacidades de raciocínio, alinhamento, conhecimento, contexto longo e agêntico do seu predecessor apenas para texto, com regressão marginal ou nenhuma.
- O modelo suporta um comprimento de contexto de 1M tokens e opera nos modos "thinking" e "instruct" (não-pensante).
- Uma variante menor Nemotron-Labs-Audex-2B também está disponível.
Este lançamento fornece uma solução unificada para tarefas multimodais de áudio e texto, preservando as características de alto desempenho do modelo Cascade subjacente.