استخدم سيمون ويليسون Claude Code مع نموذج Fable 5 لأتمتة تقييم وتحسين أوامر النظام لوكيل Datasette، مستهدفاً بشكل خاص ميزة تنفيذ استعلامات SQL للقراءة فقط. تضمنت العملية تثبيت أحدث إصدار تجريبي من Datasette وDSPy لتحديد نقاط الضعف في كيفية تعامل الوكيل مع معلومات المخطط.
- استخدمت مهمة البحث الآلي نماذج GPT 4.1 mini وnano لاختبار تنوعات الأوامر.
- أظهر التحليل أن استبعاد أسماء الأعمدة من قوائم المخطط يؤدي إلى تخمين أسماء الأعمدة وحلقات إعادة المحاولة عند الخطأ.
- كان أحد الاكتشافات الرئيسية هو أن النصيحة بعدم استدعاء describe_table عندما تكون المعلومات متاحة أدت إلى تخمينات خاطئة مثل page_count أو o.order_id.
- تتضمن الحل المقترح تضمين أسماء الأعمدة مباشرة في قائمة مخطط الأمر أو تخفيف القيود على استدعاءات وصف الجدول.
توضح هذه النهج كيف يمكن للوكلاء الآليين تحديد وحل أنماط الفشل المحددة في أوامر النظام الخاصة بنماذج اللغات الكبيرة بشكل منهجي، مما يحسن الموثوقية لمهام استعلام البيانات.