Автор рассматривает скрытые сбои в популярных версиях GGUF модели Nemotron-3-Nano-Omni-30B, где входные данные аудио и видео игнорировались из-за неполных файлов проектора и отсутствующих графов вывода. Для исправления этого состояния был выпущен объединённый файл mmproj, содержащий визуальный башню, полнослойный аудиоэнкодер Parakeet/FastConformer и временной видеовстраиватель, а также специализированный форк llama.cpp.
- Новый mmproj объединяет визуальную башню C-RADIO, 24-слойный аудиоэнкодер FastConformer и встраивания временных видеопатчей в один файл.
- Выделенный форк llama.cpp реализует необходимые графы вывода для аудио и видео, включая поддержку обрезки токенов EVS.
- Проверка подтверждает, что граф видео соответствует эталону NVIDIA PyTorch с относительной ошибкой L2 0.0019 процента и точным соответствием EVS.
- Модель доступна в девяти квантованиях на Hugging Face, тогда как для аудио и видео пока требуются бинарные файлы форкнутого llama.cpp.
Это обновление позволяет пользователям обрабатывать входные данные изображений, аудио и видео одновременно за один проход, при этом будущие основные релизы планируют интегрировать структуру проектора аудио.