TrueForge, एक ओपन-सोर्स मॉडल-निरपेक्ष एजेंट हार्नेस के डेवलपर्स ने DevRev Enterprise-Bench का उपयोग करके इसका तुलना Claude Managed Agents के साथ किया। तुलना से पता चला कि TrueForge प्रबंधित प्लेटफ़ॉर्मों की तरह ही सॉल्व दर को बनाए रख सकता है, जबकि संसाधन खपत में काफी कमी लाता है।
- Claude Managed Agents + Opus 4.8 की तुलना में TrueForge + Opus 4.8 ने 63% कम टोकन और 30% कम लागत के साथ 11/14 कार्यों को सॉल्व किया।
- दक्षता लाभ संदर्भ वाहने में कमी, कंपैक्शन और कम टूल कॉल्स (औसतन 19 बनाम 32) से आया है।
- TrueForge + GLM-5.2 ने लगभग 75% कम लागत के साथ Claude बेलाइन की तुलना में थोड़ी अधिक सॉल्व दर 11.7/14 कार्यों को हासिल किया।
- MIT-लाइसेंस प्राप्त हार्नेस OpenAI-कम्पैटिबल एंडपॉइंट्स, सबएजेंट्स और पर्सिस्टेंट सेशन्स का समर्थन करता है लेकिन फर्स्ट-क्लास ट्रेसिंग टूलिंग की कमी है।
लेखकों ने इस बात पर जोर दिया कि रनटाइम को मॉडल-निरपेक्ष रखने से उपयोगकर्ता अलग-अलग मॉडल चुनकर टोकन दक्षता और लागत-प्रदर्शन के लिए स्वतंत्र रूप से अनुकूलन कर सकते हैं।