NVIDIA выпустила Nemotron-Labs-Audex-30B-A3B (Audex), унифицированную большую языковую модель для аудио и текста, построенную на базе Nemotron-Cascade-2-30B-A3B. Модель использует единый декодер Transformer для равномерной обработки аудио и текстовых токенов, обеспечивая сильное мультимодальное слияние без ущерба для способностей к рассуждению или агентному поведению её текстового предшественника.
- Audex обучена на 157.4B аудио токенов и 320.5B текстовых токенов с использованием многостадийного обучения с учителем.
- Архитектура рассматривает текстовые токены и квантованные выходные аудио токены равномерно во время генерации.
- Обучение включает каскадное RL только для текста и дистилляцию on-policy в нескольких доменах.
- Модель достигает состояния искусственного интеллекта (SOTA) в понимании аудио, распознавании речи, переводе, преобразовании текста в речь, генерации аудио и генерации речи из речи.
- Чекпоинты опубликованы для содействия открытым исследованиям.
Выпуск направлен на предоставление унифицированного решения для задач аудиоаналитики при сохранении высокоуровневого рассуждения и удержания знаний базовой текстовой модели.