Aider telah mencapai skor state-of-the-art baru sebesar 64,0% pada benchmark polyglot-nya dengan menggabungkan DeepSeek R1 sebagai model Arsitek dengan Claude Sonnet sebagai Editor.

  • Kombinasi ini mengungguli hasil sebelumnya sambil menelan biaya 14 kali lebih murah daripada SOTA sebelumnya yang ditetapkan oleh o1.
  • Menggabungkan o1 dengan Sonnet tidak menghasilkan hasil yang lebih baik dibandingkan menggunakan o1 saja, berbeda dengan model berpikir sebelumnya yang meningkat ketika dipasangkan dengan berbagai editor.
  • Hasil benchmark memanfaatkan output akhir standar R1 alih-alih token penalarannya, karena eksperimen dengan token pemikiran menunjukkan hasil yang lebih buruk.

Konfigurasi ini menunjukkan bahwa pasangan model tertentu dapat secara signifikan meningkatkan kinerja pengodean dan efisiensi biaya dibandingkan dengan menggunakan model penalaran tunggal.