Analisis komparatif antara GLM-5.3 dan GPT-5.6 Sol pada benchmark DeepSWE menunjukkan bahwa strategi routing bertingkat lebih unggul dibandingkan penggunaan masing-masing model secara terisolasi. Dengan menjalankan GLM-5.3 terlebih dahulu dan meningkatkan ke GPT-5.6 Sol hanya ketika pengujian gagal, sistem memecahkan 85,9% tugas dengan biaya $6,61 per tugas.

  • GLM-5.3 menelan biaya $3,99 per rollout dibandingkan $8,37 untuk Sol, menjadikannya 2,1x lebih murah dan menghasilkan 17 tugas yang terpecahkan per $100 versus 9 untuk Sol.
  • GPT-5.6 Sol memimpin dalam akurasi single-shot (pass@1 sebesar 72,7%) dan keandalan (61 tugas terpecahkan empat-untuk-empat), sementara GLM-5.3 seri di pass@2 dan memimpin di pass@4 (87,6%).
  • Model-model ini menyimpang secara signifikan dengan korelasi per-tugas sebesar 0,43, mencakup 106 dari 113 tugas di antara keduanya, yang memungkinkan cascade yang efektif.
  • GLM-5.3 menunjukkan mode kegagalan yang lebih bersih, merusak pengujian yang ada hanya pada 11% dari kegagalan dibandingkan 20% untuk Sol, sehingga mengurangi kebutuhan akan gating regresi yang berat.

Pendekatan ini memanfaatkan GLM-5.3 sebagai antarmuka depan berbiaya rendah dan Sol sebagai eskalasi berbasis verifier-gating, mencapai cakupan lebih tinggi daripada Sol saja sambil tetap lebih murah daripada satu rollout Sol.