Aider通过将DeepSeek R1作为架构模型与Claude Sonnet作为编辑器配对,在其多语言基准测试中取得了64.0%的新最高分(SOTA)。

  • 该组合的表现优于之前的结果,且成本仅为o1创下的前SOTA的1/14。
  • 将o1与Sonnet配对并未产生比单独使用o1更好的结果,这与早期思维模型搭配各种编辑器时性能提升的情况不同。
  • 基准测试结果使用的是R1的标准最终输出,而非其推理令牌,因为对思维令牌的实验表现更差。

该配置表明,与使用单个推理模型相比,特定的模型配对可以显著提高编码性能和成本效益。