Ante 0.preview.71 ハーネスを使用した独立した評価により、DeepSeek V4 Flash 0731 が Terminal-Bench 2.1 で 82.7% の精度スコアを達成し、DeepSeek が以前に報告した結果と一致することが確認されました。

  • この実行は、89 タスクにわたる 445 回の試行で構成され、各タスクあたり 5 回の試行と最大推論努力が含まれていました。
  • モデルは 445 回中 368 回の成功した試行を達成し、精度は 82.7% (±1.79 SE) となりました。
  • 評価では `deepseek/deepseek-v4-flash-0731` モデルが OpenRouter を介して使用され、スキルは無効でした。

すべての構成と試行記録は検証のために Harbor ジョブで公開されています。

結果は、DeepSeek V4 Flash 0731 のパフォーマンスが評価ハーネスに敏感であることを示しており、ベンチマークにとって有用なデータを提供しています。