يتناول المؤلف الفشل الصامت في الإصدارات الشائعة من GGUF الخاصة بـ Nemotron-3-Nano-Omni-30B، حيث تم تجاهل مدخلات الصوت والفيديو بسبب ملفات المشروع غير المكتملة ورسوم بيانية للاستدلال مفقودة. ولإصلاح ذلك، تم إصدار ملف mmproj موحد يحتوي على برج الرؤية، ومُشفّر الصوت FastConformer الكامل، ومُضمّن الفيديو الزمني جنبًا إلى جنب مع شوكة متخصصة من llama.cpp.

  • يجمع ملف mmproj الجديد بين برج الرؤية C-RADIO، ومُشفّر الصوت FastConformer ذي الـ 24 طبقة، وتضمينات البقع الزمنية للفيديو في ملف واحد.
  • تطبق شوكة llama.cpp المخصصة الرسوم البيانية اللازمة للاستدلال الصوتي والفيديو، بما في ذلك دعم تقليم رموز EVS.
  • تؤكد التحققات أن الرسم البياني للفيديو يطابق المرجع PyTorch الخاص بـ NVIDIA مع خطأ L2 نسبي قدره 0.0019 بالمائة وتطابق دقيق لـ EVS.
  • يتوفر النموذج بتسع كميات على Hugging Face، بينما يتطلب الصوت والفيديو حاليًا ثنائيات llama.cpp المُشوكة.

يتيح هذا التحديث للمستخدمين معالجة مدخلات الصور والصوت والفيديو في وقت واحد خلال تمرير واحد، مع التخطيط لإصدارات مستقبلية لدمج تخطيط مشروع الصوت.