Claude 3.7 Sonnet 在 Paul Gauthier 的 Aider Polyglot 基准测试中夺得榜首，该基准测试是一项专注于代码能力的独立评估。

  • 当运行时的思考 token 限制增加到 32,000 时，该模型获得第一名。
  • 运行整个基准测试花费了 $36.83，这比之前的领先者显著更高，但低于第三名的 o1-high。
  • Claude 3.7 Sonnet 在 LM Arena 排行榜上的结果尚未公布。