يناقش طالب جامعي على منتديات Hugging Face تطبيق مفاهيم من ورقة VAPO على نموذج Qwen 2.5 Omni 3B لمعالجة مشاكل الهلوسة أثناء نسخ الصوت مع سياق الشرائح.

  • تحدد ورقة VAPO أن تسطيح ودمج أنواع الرموز المختلفة في نماذج اللغة الكبيرة متعددة الوسائط يسبب تداخلاً بصرياً، مما يؤدي إلى نص مهووس في النسخ.
  • يحل VAPO هذه المشكلة باستخدام نموذج تعلم بالتعزيز مع 'سياسة مفككة زمنياً' تفصل بين استخراج الأولوية البصرية والنسخ.
  • يسأل الطالب عما إذا كانت التعديلات المعمارية على Qwen 2.5 Omni 3B، مثل التقاط التضمينات قبل كتبة المفكر أو تغيير كتبة المفكر نفسها، يمكن أن تمنع الرموز البصرية من التدخل في الرموز الصوتية.

تسعى المنشور للحصول على إرشادات تقنية لتنفيذ استراتيجيات الفك هذه داخل بنية Qwen الحالية.