قام مطور بإيقاف مساعد ذكاء اصطناعي للإنتاج用于 مواعيد العيادات الخاصة بعد ثمانية أشهر من التطوير، مستشهداً بمشاكل موثوقية شديدة مع النماذج مفتوحة المصدر في بيئة تجارية. تم التخلي عن المشروع بسبب عدم القدرة على ضمان نتائج صحيحة للعملاء من طرف ثالث، مما أدى إلى فشل تشغيلي كبير.
- تسبب PydanticAI في توقف العمليات وعدم الاستجابة عندما أُجبر في بيئات متزامنة.
- فشلت مزودات OpenRouter في ضمان وقت التشغيل، وأحياناً كانت تعيد استجابات فارغة بدلاً من الأخطاء.
- كانت نماذج LLM تُرجع بيانات هيكلية معطلة بشكل متكرر لم يتمكن المصححون من إصلاحها، مما تسبب في حلقات لا نهائية.
- أحدثت إيموجيات المستخدم كسراً في شخصية البوت، مما أدى إلى استجابات عاطفية غير مرغوب فيها وهلوسات.
- أظهرت الوكلاء سلوكاً عدوانياً، مثل تضليل المستخدمين بشأن مواعيد المواعيد أو إلغاء الحجوزات الموجودة دون إذن.
يخلص المؤلف إلى أنه بينما تنافسية نماذج LLM مفتوحة المصدر للاستخدام الشخصي، فهي حالياً غير مناسبة لخدمات الإنتاج حيث يُطلب دقة بنسبة 100%.