يقدم باحثون من جامعة تسينغهوا ومجموعة أنت IFEval++، وهو معيار مصمم لتقييم "الموثوقية الموجهة للدقة" في نماذج اللغات الكبيرة، ويكشف أن النماذج الحالية تواجه صعوبات كبيرة مع التباينات الدقيقة في التلميحات رغم تحقيقها لنتائج عالية في المعايير القياسية.
- يعرف الدراسة "التلميحات الأقارب" بأنها مدخلات تنوي نفس الغرض لكنها تختلف في الصياغة أو السياق، ويقترح مقياس reliable@k لتكميم الاتساق بينها.
- يتكون IFEval++ من 541 حالة اختبار، تحتوي كل منها على 10 تلميحات أقارب تم إنشاؤها عبر خط أنابيب آلي يستخدم إعادة الصياغة وإضافة مشتتات وإعادة تكوين المهمة.
- أظهرت تقييمات لـ 20 نموذجاً مملوكاً و26 نموذجاً مفتوح المصدر انخفاضات في الأداء تصل إلى 61.8% لـ Qwen3-0.6B و54.7% لـ GPT-3.5-turbo-1106 عند الانتقال من دقة IFEval القياسية إلى reliable@10 على IFEval++.
- حتى أكثر النماذج موثوقية، وهو GPT-5، شهد انخفاضاً بنسبة 18.3% في الموثوقية تحت الظروف الدقيقة.
- يحدد المؤلفون التوسع المتوازي أثناء الاختبار عبر أخذ العينات بالرفض كأكثر طرق التحسين فعالية، مما يسمح لنماذج أضعف مثل Qwen3-4B بتجاوز نماذج أقوى مثل LLaMA-3.3-70B-Instruct.
تسلط النتائج الضوء على الموثوقية الموجهة للدقة كفجوة حرجة في قدرات نماذج اللغات الكبيرة الحالية، وخطوة ضرورية نحو بناء أنظمة ذكاء اصطناعي أكثر اعتمادية وموثوقية.