Aider ने DeepSeek R1 को Architect मॉडल के रूप में और Claude Sonnet को Editor के रूप में जोड़कर अपने बहुभाषी बेंचमार्क पर 64.0% का नया state-of-the-art स्कोर हासिल किया है।
- यह संयोजन पिछले परिणामों से बेहतर प्रदर्शन करता है, जबकि o1 द्वारा निर्धारित पूर्व SOTA की तुलना में लागत 14 गुना कम है।
- o1 को Sonnet के साथ जोड़ने ने o1 को अकेले उपयोग करने की तुलना में बेहतर परिणाम नहीं दिए, भिन्न संपादकों के साथ जोड़े जाने पर पूर्व तार्किक मॉडलों में सुधार हुआ था।
- बेंचमार्क परिणामों में R1 के मानक अंतिम आउटपुट का उपयोग किया गया है, न कि इसके तर्क टोकन का, क्योंकि सोचने वाले टोकन के साथ प्रयोगों ने खराब प्रदर्शन दिखाया।
यह विन्यास दर्शाता है कि विशिष्ट मॉडल जोड़े एकल तार्किक मॉडलों की तुलना में कोडिंग प्रदर्शन और लागत दक्षता को काफी बढ़ा सकते हैं।