सिमन विलिसन ने डेटासेट एजेंट के लिए सिस्टम प्रॉम्प्ट्स के मूल्यांकन और अनुकूलन को स्वचालित करने के लिए Claude Code का उपयोग Fable 5 मॉडल के साथ किया, विशेष रूप से इसके केवल-पढ़ने योग्य SQL क्वेरी निष्पादन सुविधा पर ध्यान केंद्रित करते हुए। इस प्रक्रिया में डेटासेट एल्फा और DSPy की नवीनतम स्थापना शामिल थी ताकि यह पहचाना जा सके कि एजेंट स्कीमा जानकारी को कैसे संभालता है, जहाँ कमजोरियां हैं।
- स्वचालित शोध कार्य ने प्रॉम्प्ट वेरिएशन का परीक्षण करने के लिए GPT 4.1 mini और nano मॉडल का उपयोग किया।
- विश्लेषण से पता चला कि स्कीमा सूचीकरण से कॉलम नामों को बाहर रखने से कॉलम-नाम अनुमान और त्रुटि-पुनः प्रयास लूप हो गए।
- एक मुख्य निष्कर्ष यह था कि जब जानकारी उपलब्ध हो तो describe_table को कॉल करने के विरुद्ध सलाह ने page_count या o.order_id जैसे गलत अनुमानों का कारण बनाया।
- प्रस्तावित समाधान में प्रॉम्प्ट के स्कीमा सूचीकरण में सीधे कॉलम नाम शामिल करना या टेबल विवरण कॉल्स पर प्रतिबंध को नरम करना शामिल है।
यह दृष्टिकोण दिखाता है कि स्वचालित एजेंट LLM सिस्टम प्रॉम्प्ट्स में विशिष्ट विफलता मोड को व्यवस्थित रूप से कैसे पहचान और हल कर सकते हैं, डेटा क्वेरी कार्य के लिए विश्वसनीयता में सुधार करते हुए।