Aider ha logrado una nueva puntuación de estado del arte del 64,0% en su prueba políglota al combinar DeepSeek R1 como modelo Arquitecto con Claude Sonnet como Editor.

  • La combinación supera los resultados anteriores mientras cuesta 14 veces menos que el SOTA anterior establecido por o1.
  • Combinar o1 con Sonnet no arrojó mejores resultados que usar o1 solo, a diferencia de modelos de razonamiento anteriores que mejoraron al combinarse con varios editores.
  • Los resultados de la prueba utilizan la salida final estándar de R1 en lugar de sus tokens de razonamiento, ya que los experimentos con tokens de pensamiento dieron peores resultados.

Esta configuración demuestra que las combinaciones específicas de modelos pueden mejorar significativamente el rendimiento de codificación y la eficiencia de costos en comparación con el uso de modelos de razonamiento individuales.