تكشف مقارنة بين كيمي K3 وجي بي تي-5.6 سول على معيار DeepSWE أنه بينما يتصدر جي بي تي-5.6 سول في جودة المحاولة الواحدة (72.7% مقابل 68.5%)، يحقق كيمي K3 نتائج أعلى في درجات pass@k لـ k > 1 بتكلفة أقل بكثير.

  • يفوز كيمي K3 في pass@2 (82.0% مقابل 81.0%) وpass@4 (89.4% مقابل 85.8%)، محققاً أفضل نتيجة pass@4 بين أي تكوين من الطراز الرئيسي.
  • تبلغ تكلفة كيمي K3 4.65 دولار لكل جولة مقارنة بـ 8.37 دولار لجي بي تي-5.6 سول، مما يوفر حلّ 2.8 مرة أكثر من المهام لكل دولار.
  • تختلف النماذج بشكل كبير (ارتباط 0.46) وتفشل بطرق مختلفة، مما يتيح تسلسلاً تصاعدياً يبدأ بكيمي ويتصاعد إلى سول لتغطية 108 من أصل 113 مهمة.
  • جي بي تي-5.6 سول أكثر موثوقية، حيث حلّ 61 مهمة بشكل كامل مقابل 45 لكيمي K3، لكنه يستغرق وقتاً أطول لكل جولة (17 دقيقة مقابل 66 دقيقة).

يوفر التوجيه بين النموذجين حلاً عملياً قوياً، حيث يصل التسلسل التصاعدي الذي يبدأ بكيمي إلى دقة تبلغ حوالي 85.6% مع كونه أقل تكلفة من استخدام جي بي تي-5.6 سول وحده.