DeepSWEベンチマークにおけるGLM-5.3とその蒸留版であるGLM-5.3 Flashの比較により、蒸留がコアとなるコーディング能力を維持しつつロールアウトコストを大幅に削減できることが示された。フルモデルはタスクあたり$3.99でpass@1レート69.0%を達成する一方、Flashバリアントはわずか$0.24で63.4%を獲得し、価格が17分の1に低下したことを意味する。

  • pass@1では5.6ポイントだった品質差がpass@4では2.6ポイント（87.6%対85.0%）まで縮まり、損失は主に信頼性のものであり能力のものではないことが示唆される。
  • GLM-5.3 Flashのロールアウトあたりのコストは$0.24であり、フルモデルの$3.99と比較して、100ドルあたり264件のタスクを解決できるのに対し、フルモデルは17件にとどまる。
  • Flashバリアントは、不安定なタスクにおいて追加の努力を成功に変える能力を失い、パスする実行がステップ数を要するのはフルモデルの61%に対して46%の頻度のみである。
  • 蒸留はパフォーマンスプロファイルを変化させ、並列処理、Python、データモデリングで追い上げた一方、JavaScriptやクエリ負荷の高い作業では後退した。
  • 顕著な性能低下として、慎重さの減少があり、Flashはロールアウトの6.9%でベースラインテストに失敗するのに対し、フルモデルは4.4%である。

GLM-5.3 Flashを最初に実行し、拒否された場合にのみフルモデルにエスカレーションすることで、DeepSWEタスクの80.9%を$1.70ずつで解決でき、スループット制約のあるワークロードに対してコスト効果の高い戦略を提供する。