يكشف تشغيل تجريبي لضبط نموذج Dolphin 3.0 Llama 3.1 8B باستخدام إطار عمل AGIO أن درجات GPQA Diamond تتوقف عن التحسن بعد ارتفاع أولي، حتى مع استمرار انخفاض خسارة التدريب بشكل حاد.
- حقق النموذج الأساسي درجة GPQA Diamond مقدارها 49/198 (24.75%)، وبلغت ذروتها عند 60/198 في نقاط التفتيش CP24 وCP36 قبل أن تتذبذب بين 54 و56 لبقية التشغيل.
- استخدم التدريب جدول معدل تعلم بدأ بـ 1.50e-05، وانخفض إلى 1.15e-05 بعد أربع دورات، وظل ثابتاً thereafter.
- بينما ثبات الدقة الخارجية، زادت المقاييس الداخلية مثل GAP من 0.7615 إلى 1.2999، مما يشير إلى أن النموذج قد يلتزم أكثر بخياراته بدلاً من اكتساب قدرة عامة.
- يلاحظ المؤلف أن قدرات الاستدلال ظلت محفوظة دون تدهور إلى سلوك "الببغاء"، على الرغم من التباين بين تقليل الخسارة وأداء المعايير.
تسلط التجربة الضوء على أهمية مراقبة مسارات معدل التعلم أثناء الضبط الدقيق، حيث لا يؤدي التدريب المستمر بالضرورة إلى تحسينات متناسبة في مقاييس التقييم الخارجية.