L'auteur traite des échecs silencieux dans les versions populaires de Nemotron-3-Nano-Omni-30B au format GGUF, où les entrées audio et vidéo étaient ignorées en raison de fichiers projecteurs incomplets et de graphes d'inférence manquants. Pour résoudre ce problème, un fichier mmproj unifié contenant la tour visuelle, l'encodeur audio Parakeet/FastConformer complet et l'intégrateur vidéo temporel a été publié aux côtés d'un fork spécialisé de llama.cpp.

  • Le nouveau mmproj combine la tour visuelle C-RADIO, l'encodeur audio FastConformer à 24 couches et les embeddings de patches vidéo temporels en un seul fichier.
  • Un fork dédié de llama.cpp implémente les graphes d'inférence audio et vidéo nécessaires, y compris le support du pruning des tokens EVS.
  • La vérification confirme que le graphe vidéo correspond à la référence PyTorch de NVIDIA avec une erreur L2 relative de 0,0019 pour cent et une parité EVS exacte.
  • Le modèle est disponible en neuf quantifications sur Hugging Face, tandis que l'audio et la vidéo nécessitent actuellement les binaires du fork llama.cpp.

Cette mise à jour permet aux utilisateurs de traiter simultanément des entrées image, audio et vidéo en un seul passage, avec des versions amont futures prévues pour intégrer la disposition du projecteur audio.