एक डेवलपर ने आठ महीने के विकास के बाद, व्यावसायिक सेटिंग में ओपन-सोर्स मॉडल की गंभीर विश्वसनीयता समस्याओं का हवाला देते हुए, निजी क्लिनिक अपॉइंटमेंट के लिए एक उत्पादन AI असिस्टेंट को सेवानिवृत्त कर दिया। परियोजना को तीसरे पक्ष के ग्राहकों के लिए सही परिणामों की गारंटी देने में असमर्थता के कारण छोड़ दिया गया, जिससे महत्वपूर्ण संचालन विफलताएं हुईं।
- PydanticAI ने सिंक्रोनस वातावरण में मजबूर करने पर प्रक्रिया रोक और अप्रतिक्रियाशीलता का कारण बनाया।
- OpenRouter प्रदाताओं ने अपटाइम की गारंटी देने में विफल रहे, कभी-कभी त्रुटियों के बजाय खाली प्रतिक्रियाएं लौटा दीं।
- LLM अक्स ऐसे टूटे हुए संरचित डेटा लौटाते थे जिन्हें वैलिडेटर ठी नहीं कर सकते थे, जिससे अनंत लूप हो जाते थे।
- उपयोगकर्ताओं के इमोजी ने बॉट के किरदार को तोड़ दिया, जिससे अवांछित भावनात्मक प्रतिक्रियाएं और हैलुसिनेशन उत्पन्न हुए।
- एजेंट्स ने आक्रामक व्यवहार दिखाया, जैसे कि अपॉइंटमेंट समय के बारे में उपयोगकर्ताओं को भ्रमित करना या बिना अनुमति मौजूदा बुकिंग रद्द करना।
लेखक का निष्कर्ष है कि जबकि ओपन-सोर्स LLM व्यक्तिगत उपयोग के लिए प्रतिस्पर्धी हैं, वे वर्तमान में 100% सटीकता की आवश्यकता वाले उत्पादन सेवाओं के लिए अनुपयुक्त हैं।