Nvidia выпустила Nemotron-Labs-Audex-30B-A3B, унифицированную большую языковую модель для аудио и текста, построенную на основе текстового MoE-каркаса Nemotron-Cascade-2-30B-A3B. Модель расширяет исходную архитектуру аудиоконвертером для входных данных и дискретными аудио-токенами для выходных данных, обеспечивая возможности распознавания речи, перевода, преобразования текста в речь и генерации аудио.
- Она сохраняет способности к рассуждению, выравниванию, работе с знаниями, обработке длинного контекста и агентному поведению своего текстового предшественника без значительного или вообще без снижения качества.
- Модель поддерживает длину контекста в 1M токенов и работает как в режиме «мышления», так и в режиме «инструкций» (без мышления).
- Также доступна меньшая версия Nemotron-Labs-Audex-2B.
Это обновление предоставляет унифицированное решение для мультимодальных аудио-текстовых задач, сохраняя высокие характеристики производительности базовой модели Cascade.