Claude 3.7 Sonnet a pris la première place sur le benchmark Aider Polyglot de Paul Gauthier, une évaluation indépendante axée sur les capacités de code.
- Le modèle a obtenu la première place lorsqu'il a été exécuté avec une limite accrue de 32 000 tokens de réflexion.
- Il a coûté 36,83 $ pour exécuter l'intégralité du benchmark, ce qui est significativement plus que le leader précédent mais moins que le troisième o1-high.
- Aucun résultat n'est encore disponible pour Claude 3.7 Sonnet sur le classement LM Arena.