حقق نموذج OpenAI o1 بجهد استنتاجي عالٍ أعلى درجة في المعيار متعدد اللغات الجديد الذي أصدرته Aider، متفوقًا بشكل كبير على نماذج اللغة الكبيرة الرائدة الأخرى. تم تصميم هذا المعيار المحدث ليكون أكثر صعوبة بكثير من الإصدارات السابقة لتمييز قدرات أقوى نماذج البرمجة الحالية بشكل أفضل.
- يستخدم المعيار الجديد 225 من أصعب تمارين Exercism عبر C++ و Go و Java و JavaScript و Python و Rust.
- يستبعد المشاكل السهلة التي يمكن حلها بواسطة جميع النماذج المختبرة لإنشاء نطاق درجات أوسع بين حوالي 5٪ و 50٪.
- حقق o1 أعلى درجة بنسبة 62٪، تاركًا 86 مشكلة غير محلولة للتقدم المستقبلي للنماذج.
- صُمم المعيار لمعالجة تشبع معايير Python القديمة حيث اقتربت الدرجات من 80٪.
يعتبر المؤلفون هذا المعايرة مجددًا مهمة لأنها توفر هامشًا لنماذج LLM المستقبلية وتسمح بمقارنة أكثر وضوحًا للأداء النسبي بين أفضل نماذج البرمجة.