Armin Ronacher की रिपोर्ट है कि Anthropic के नवीनतम Claude मॉडल, विशेष रूप से Opus 4.8 और Sonnet 5, Pi कोडिंग हार्नेस के साथ इंटरैक्ट करते समय खराब टूल कॉल उत्पन्न कर रहे हैं। मॉडल नेस्टेड एडिट्स सरणी में अतिरिक्त फ़ील्ड्स का आविष्कार करते हैं जो अपेक्षित स्कीमा से मेल नहीं खाते, जिससे Pi कॉल को अस्वीकार कर देता है।
- Opus 4.8 और Sonnet 5 जैसे नए SOTA मॉडल इस रgression को प्रदर्शित करते हैं, जबकि पुराने मॉडल नहीं करते।
- समस्या का कारण यह है कि मॉडलों को Claude Code के बaked-इन एडिट टूल्स का उपयोग करने के लिए प्रशिक्षित किया गया था, जिससे थर्ड-पार्टी हार्नेस के साथ संगतता प्रभावित होती है।
- यह OpenAI के Codex से अलग है, जो प्रभावी टूल उपयोग के लिए डिज़ाइन किए गए एक अलग apply_patch तंत्र का उपयोग करता है।
लेख सुझाव देता है कि थर्ड-पार्टी कोडिंग हार्नेस को विभिन्न अंडरलाइंग मॉडल के across सही प्रदर्शन सुनिश्चित करने के लिए कई एडिट टूल्स लागू करने की आवश्यकता हो सकती है।