Un desarrollador ha publicado un paquete GGUF completo para el modelo Nemotron-3-Nano-Omni-30B de NVIDIA, añadiendo soporte de audio y vídeo previamente ausente al ecosistema de llama.cpp. La publicación incluye nueve cuantizaciones que van desde Q3_K_M hasta BF16 y un archivo de proyector unificado que integra los codificadores de visión C-RADIO y de audio Parakeet.

  • Una bifurcación dedicada de llama.cpp implementa el grafo de audio Parakeet/FastConformer y el grafo de vídeo C-RADIO, permitiendo el procesamiento en un solo paso del vídeo con su banda sonora.
  • El grafo de vídeo coincide con la referencia de PyTorch de NVIDIA con un error L2 relativo del 0,0019 por ciento, mientras que el grafo de audio transcribe la narración de prueba palabra por palabra.
  • Se proporcionan binarios precompilados para Linux arm64 CUDA 13 para hardware como DGX Spark y Jetson Thor.

Esta actualización permite a los usuarios ejecutar simultáneamente las modalidades de imagen, texto, audio y vídeo a través de una única instancia de llama-server en hardware compatible.