يقترح المؤلفون ShortOPD، وهو جدول لتقطير على السياسة من القصير إلى الطويل مصمم لاستعادة القدرات التوليدية لنماذج اللغة الكبيرة المقصوصة بشكل هيكلي والتي تنهار أثناء التوليد الحر. من خلال اكتشاف اللاحقات المتكررة التي أكدها المعلم ومعالجة البادئة الناجحة كطول rollout الفعال، تخصص هذه الطريقة ميزانية التدريب بكفاءة أكبر من الأساليب القياسية.
- يرفع ShortOPD درجات النماذج المضغوطة إلى حوالي 9 أضعاف قيمتها غير المستعادة و1.6–4.4 أضعاف وصفات الاستعادة القياسية مثل SFT بدون KD، وKD، وSeqKD عبر مهام الرياضيات والبرمجة والتوليد المفتوح.
- تتطابق الطريقة مع أفق rollout ثابت يبلغ 8192 رمزًا ضمن نقطتين مع استخدام ربع وقت التدريب فقط (8.5 مقابل 35.9 ساعة) و71% أقل من رموز rollout.
تهدف هذه النهج إلى نقل التقصيص الهيكلي إلى ما هو أبعد من المكاسب الهامشية في التشتت والمعايير متعددة الخيارات، مما يقرب النماذج المضغوطة من جودة توليد جاهزة للنشر.