एक रेडिट उपयोगकर्ता छोटे, कार्यप्रवाह-विशिष्ट सत्यापन मॉडल बनाने के लिए सहयोगात्मक पहल का सुझाव देता है, जिनमें 3B से 14B पैरामीटर तक होते हैं। इस प्रस्ताश का उद्देश्य Pi, aider या OMP जैसे टूल्स के माध्यम से एकत्र किए गए सामुदायिक डेटा का लाभ उठाकर अर्थिक विचलन और निर्भरता त्रुटियों जैसे विश्वसनीयता मुद्दों को हल करना है।
- सामान्य फ्रंटियर मॉडलों के बजाय ट्रैसिंग, आलोचना और परीक्षण जैसे कार्यों के लिए विशेष मॉडल बनाएं।
- SWE-Bench, SWE-gym और Openhands जैसे परियोजनाओं से मौजूदा बेंचमार्क और ट्राजेक्टरी डेटासेट का उपयोग करें।
- आर्किटेक्चर विचलन और खराब रोलबैक व्यवहार सहित विश्वसनीयता पहलुओं पर ध्यान केंद्रित करने के लिए एक विशिष्ट टैक्सोनॉमी विकसित करें।
लेखक इस दृष्टिकोण की संभावना या किसी मौजूदा समान पहलों के बारे में जानकारी के लिए प्रतिक्रिया आमंत्रित करते हैं।