त्सिंगह्वा यूनिवर्सिटी और एंट ग्रुप के शोधकर्ताओं ने IFEval++ पेश किया, एक बेंचमार्क जो बड़े भाषा मॉडलों में "सूक्ष्मता-उन्मुख विश्वसनीयता" का मूल्यांकन करने के लिए डिज़ाइन किया गया है, यह उजागर करते हुए कि वर्तमान मॉडल उच्च मानक बेंचमार्क स्कोर के बावजूद सूक्ष्म प्रॉम्प्ट भिन्नताओं के साथ काफी संघर्ष कर रहे हैं।
- अध्ययन "चचेरे प्रॉम्प्ट्स" को इनपुट के रूप में परिभाषित करता है जो समान उद्देश्य व्यक्त करते हैं लेकिन अभिव्यक्ति या संदर्भ में भिन्न होते हैं, और उनके बीच स्थिरता को मात्रात्मक रूप देने के लिए reliable@k मेट्रिक का प्रस्ताव देता है।
- IFEval++ में 541 परीक्षण मामले शामिल हैं, जिनमें से प्रत्येक में पुनः वाक्य रचना, भ्रामक तत्व जोड़ने और कार्य पुनर्गठन का उपयोग करके स्वचालित पाइपलाइन के माध्यम से उत्पन्न 10 चचेरे प्रॉम्प्ट्स होते हैं।
- 20 बंद स्रोत और 26 ओपन-सोर्स मॉडलों का मूल्यांकन दर्शाता है कि मानक IFEval सटीकता से IFEval++ पर reliable@10 की ओर बढ़ने पर Qwen3-0.6B के लिए प्रदर्शन में 61.8% और GPT-3.5-turbo-1106 के लिए 54.7% की गिरावट आई।
- सबसे विश्वसनीय मॉडल, GPT-5, ने भी सूक्ष्म स्थितियों के तहत विश्वसनीयता में 18.3% की कमी का अनुभव किया।
- लेखकों ने अस्वीकृति नमूनाकरण के माध्यम से समानांतर परीक्षण-समय स्केलिंग को सबसे प्रभावी सुधार विधि के रूप में पहचाना, जिससे Qwen3-4B जैसे कमजोर मॉडल LLaMA-3.3-70B-Instruct जैसे शक्तिशाली मॉडलों से बेहतर प्रदर्शन कर सके।
यह निष्कर्ष सूक्ष्मता-उन्मुख विश्वसनीयता को वर्तमान एलएलएम क्षमताओं में एक महत्वपूर्ण अंतर और अधिक निर्भर और विश्वसनीय एआई सिस्टम बनाने की दिशा में एक आवश्यक कदम के रूप में उजागर करते हैं।