Claude 3.7 Sonnet 이 Paul Gauthier 의 Aider Polyglot 벤치마크에서 1위를 차지했습니다. 이 벤치마크는 코드 능력에 중점을 둔 독립적인 평가입니다.

  • 모델은 추론 토큰 제한을 32,000으로 늘려 실행했을 때 1위를 기록했습니다.
  • 전체 벤치마크를 실행하는 데 $36.83이 소모되었으며, 이는 이전 리더보다 훨씬 높지만 3위인 o1-high보다는 낮습니다.
  • Claude 3.7 Sonnet 의 LM Arena 리더보드 결과는 아직 제공되지 않았습니다.