Anthropicは、ベンチマークの最適化だけでなく、実際のビジネスや開発者のユースケースを対象としたモデルであるClaude 3.7 Sonnetをリリースした。今回のリリースでは、標準モードと高度な推論モードの間で動的に切り替える機能が導入され、ユーザーが「思考時間」に割り当てるトークン数を制御できるようになった。

  • 価格は入力トークン100万個あたり$3、出力トークン100万個あたり$15で、OpenAIのo1とDeepSeek R1の間に位置づけられている。
  • モデルはハイブリッドアーキテクチャを採用しており、標準モードでは約200msのレイテンシ、拡張思考モードでは最大15秒を実現している。
  • ベンチマーク結果は、大学院レベルの推論（GPQA Diamond: 78.2% / 84.8%）やコーディング（SWE-bench: 62.3% / 70.3%）で強力なパフォーマンスを示したが、高校数学コンテストの問題では苦戦している。
  • 独立した評価によると、Claude 3.7 Sonnetを含むテストされたどのモデルも複雑な数学問題に対して信頼性はなく、SAT形式の質問ではコイン投げレベルのスコアにとどまっている。

構成可能なレイテンシとトークン予算の制御により、開発者は異なるタスク用に別々のモデルを用意することなく、速度と精度のバランスを調整する柔軟性を得られる。