R1+Sonnet이 aider의 다국어 벤치마크에서 SOTA 달성

Aider는 DeepSeek R1을 아키텍트 모델로, Claude Sonnet을 에디터로 결합하여 다국어 벤치마크에서 64.0%의 새로운 state-of-the-art 점수를 달성했습니다.

• 이 조합은 o1이 설정한 이전 SOTA보다 비용이 14배 저렴하면서도 이전 결과보다 뛰어난 성능을 보였습니다.
• o1과 Sonnet을 결합하는 것은 o1 단독 사용보다 더 나은 결과를 낳지 않았으며, 이는 다양한 에디터와 결합했을 때 개선되었던 이전 사고 모델들과 다릅니다.
• 벤치마크 결과는 추론 토큰 대신 R1의 표준 최종 출력을 사용했으며, 사고 토큰 실험은 더 낮은 성능을 보였습니다.

이 구성은 특정 모델 조합이 단일 추론 모델을 사용하는 것보다 코딩 성능과 비용 효율성을 크게 향상시킬 수 있음을 보여줍니다.