Aider достиг нового показателя state-of-the-art в 64,0% на своём полиглотном бенчмарке, объединив DeepSeek R1 в роли модели-архитектора с Claude Sonnet в роли редактора.

  • Эта комбинация превзошла предыдущие результаты, обойдясь в 14 раз дешевле, чем предыдущий SOTA, установленный o1.
  • Сочетание o1 с Sonnet не дало лучших результатов по сравнению с использованием только o1, в отличие от более ранних моделей с рассуждением, которые показывали улучшения при сочетании с различными редакторами.
  • В результатах бенчмарка используется стандартный финальный вывод R1, а не его токены рассуждения, поскольку эксперименты с токенами мышления показали худшие результаты.

Эта конфигурация демонстрирует, что специфические пары моделей могут значительно улучшить производительность в программировании и эффективность по затратам по сравнению с использованием одиночных моделей с рассуждением.