शोधकर्ताओं ने कार्य-उन्मुख संवाद एजेंटों में बैकएंड डेटाबेस कॉल विफल होने या असंगत जानकारी लौटाने पर मजबूती बढ़ाने के लिए एक हल्का prompting-आधारित पुनर्प्राप्ति दृष्टिकोण प्रस्तावित किया, बिना पुनः प्रशिक्षण की आवश्यकता के।
- छह ओपन-वेट मॉडल परिवारों (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, और Qwen-2.5) और खाली परिणाम और API त्रुटियों सहित चार डेटाबेस स्थितियों पर मूल्यांकन किया गया।
- MultiWOZ 2.2 और SGD डेटासेट्स पर बनाए गए फॉल्ट-इंजेक्टेड बेंचमार्क्स पर परीक्षण किया गया।
- नोएव एजेंट्स ने MultiWOZ पर विफलता वाले टर्न के 30.5% और SGD पर 20.9% में हैलुसिनेशन किया।
- Guided-Retry रणनीति ने MultiWOZ पर हैलुसिनेशन को 50% (15.3% तक) और SGD पर 42% (12.2% तक) कम कर दिया।
- अवशिष्ट हैलुसिनेशन महत्वपूर्ण बना रहा (मॉडल के बीच 6-37%), गलत-डोमेन विफलता सबसे कठिन मामला था।
अध्ययन दिखाता है कि संरचित डेटाबेस स्थिति पर प्रतिक्रियाओं को शर्ती बनाने से सुरक्षा मेट्रिक्स में महत्वपूर्ण सुधार होता है, हालांकि जटिल पुनर्प्राप्ति परिदृश्यों में अवशिष्ट त्रुटियाँ बनी रहती हैं।