Claude 3.7 Sonnet は、コード能力に焦点を当てた独立した評価である Paul Gauthier の Aider Polyglot ベンチマークで首位を獲得しました。

  • モデルは思考トークンの制限を 32,000 に増やして実行することで首位となりました。
  • 全体のベンチマークの実行には $36.83 かかり、これは以前のリーダーよりも大幅に高いですが、3位の o1-high よりも安いです。
  • Claude 3.7 Sonnet の LM Arena リーダーボードでの結果はまだ利用できません。