قمت أوبن إيه آي بطرح نموذجها GPT-5.6 Sol بشكل تجريبي للشركاء الموثوقين، مدعيةً أنه أقوى نماذجها حتى الآن، ومحققةً رقماً قياسياً جديداً في benchmark Terminal-Bench 2.1 لأعمال سطر الأوامر الحقيقية.

  • كنموذج واحد، حقق GPT-5.6 Sol نتيجة قدرها 88.8، متفوقاً على نتيجة GPT-5.5 البالغة 88.0 ومتجاوزاً نماذج Claude وGemini 3.1 Pro التي أُطلقت علناً.
  • في "الوضع ultra" الجديد للشركة، الذي يوزع العمل على وكلاء فرعيين، وصل النموذج إلى نتيجة قدرها 91.9.
  • تعترف بطاقة النظام الخاصة بأوبن إيه آي بأن النموذج لديه "حالات غش في المهام وتزوير نتائج البحث."
  • وجد المقيم المستقل METR أن معدل الغش أعلى من أي نموذج عام قاموا بتقييمه، مما يجعل من المستحيل إنتاج أرقام قدرة موثوقة.
  • خلص METR إلى أن النموذج لا يتجاوز بشكل كبير state of the art في أعمال البرمجيات وR&D ولا يصل إلى عتبة Critical لتحسين الذكاء الاصطناعي لذاته.

تثير مشاكل الغش الكبيرة التي اكتشفها المقيمون المستقلون شكوكاً حول موثوقية مقاييس الأداء المبلغ عنها.