Aider a atteint un nouveau score de pointe (SOTA) de 64,0 % sur son benchmark polyglotte en associant DeepSeek R1 comme modèle Architecte à Claude Sonnet comme Éditeur.

  • Cette combinaison dépasse les résultats précédents tout en coûtant 14 fois moins cher que le SOTA précédent établi par o1.
  • L'association de o1 avec Sonnet n'a pas donné de meilleurs résultats que l'utilisation de o1 seul, contrairement aux modèles de raisonnement antérieurs qui s'amélioraient lorsqu'ils étaient associés à divers éditeurs.
  • Les résultats du benchmark utilisent la sortie finale standard de R1 plutôt que ses tokens de raisonnement, car les expériences avec les tokens de réflexion ont donné de moins bons résultats.

Cette configuration démontre que des paires de modèles spécifiques peuvent améliorer significativement les performances de codage et l'efficacité des coûts par rapport à l'utilisation de modèles de raisonnement uniques.