تبحث دراسة حديثة في الرموز المحددة التي يتم توقعها بدقة أكبر بواسطة النماذج اللغوية الهجينة مقارنة بالهياكل الكثيفة القياسية. تركز البحث على فهم توزيع أخطاء التوقع عبر أنواع الرموز المختلفة، مثل الكلمات النادرة ومقتطفات الكود. ومن خلال تحليل مناظر الخسارة، يحدد المؤلفون أن النماذج الهجينة تتفوق في التقاط الاعتماديات طويلة المدى في مناطق البيانات المتفرقة. وتشير النتائج إلى أن آلية مزيج الخبراء تتيح استخدامًا أكثر كفاءة للمعلمات أثناء الاستدلال. وهذه الدقة المحسّنة تكون ملحوظة بشكل خاص للرموز ذات التردد المنخفض في مجموعة التدريب. يوفر الورقة تفصيلًا دقيقًا لمقاييس الأداء عبر مجموعات بيانات المعيار المختلفة. وتسلط هذه النتائج الضوء على إمكانات الهياكل الهجينة للتعامل بفعالية مع البنى اللغوية المتنوعة.