O Aider alcançou uma nova pontuação de estado da arte de 64,0% em seu benchmark poliglota ao combinar o DeepSeek R1 como modelo Arquiteto com o Claude Sonnet como Editor.

  • A combinação supera os resultados anteriores enquanto custa 14 vezes menos que o SOTA anterior definido pelo o1.
  • Combinar o1 com Sonnet não produziu melhores resultados do que usar o1 sozinho, ao contrário dos modelos de raciocínio anteriores que melhoraram ao serem combinados com vários editores.
  • Os resultados do benchmark utilizam a saída final padrão do R1 em vez de seus tokens de raciocínio, pois experimentos com tokens de pensamento tiveram desempenho pior.

Esta configuração demonstra que pares específicos de modelos podem melhorar significativamente o desempenho de codificação e a eficiência de custos em comparação com o uso de modelos de raciocínio únicos.