Terminal Bench 4.0がリリースされ、新しいモデルのリリースに対応し、ベンチマークの飽和に対抗するためにベンチマークが更新されました。

  • アップデートには誤差範囲を考慮してGLM-5.3がFable 5と同じレベルにあることを示すパフォーマンスデータが含まれています。
  • アナウンスでは、新興モデルに対して関連性を維持するためのTerminalBenchの迅速な反復を強調しています。
  • コミュニティの議論では、大規模なベンチマークの高い計算コストが指摘され、1回のランで5-10Bトークンが必要であることが注視されています。