저자는 불완전한 프로젝터 파일과 누락된 추론 그래프로 인해 오디오 및 비디오 입력이 무시되는 Nemotron-3-Nano-Omni-30B의 인기 있는 GGUF 버전에서 발생한 침묵하는 오류를 해결합니다. 이를 위해 비전 타워, 전체 Parakeet/FastConformer 오디오 인코더, 그리고 시간적 비디오 임베더가 포함된 통합 mmproj 파일과 전용 llama.cpp 포크가 함께 출시되었습니다.

  • 새로운 mmproj는 C-RADIO 비전 타워, 24레이어 FastConformer 오디오 인코더 및 시간적 비디오 패치 임베딩을 단일 파일로 결합합니다.
  • 전용 llama.cpp 포크는 EVS 토큰 가지치기 지원을 포함하여 필요한 오디오 및 비디오 추론 그래프를 구현합니다.
  • 검증 결과, 비디오 그래프가 NVIDIA의 PyTorch 참조와 0.0019% 상대 L2 오차 및 정확한 EVS 동등성을 보임이 확인되었습니다.
  • 모델은 Hugging Face에서 아홉 가지 양자화 버전으로 제공되며, 오디오 및 비디오는 현재 포크된 llama.cpp 바이너리가 필요합니다.

이 업데이트를 통해 사용자는 단일 패스에서 이미지, 오디오, 비디오 입력을 동시에 처리할 수 있으며, 향후 업스트림 릴리스에서는 오디오 프로젝터 레이아웃 통합이 계획되어 있습니다.