HotpotQA ब्रिज प्रश्नों पर फ्रोजन 4-बिट Qwen2.5-7B-Instruct का उपयोग करके किए गए GPU तनाव परीक्षण से पता चलता है कि कार्य-जागरूक सेमांटिक रूटिंग उच्च-भ्रामक स्थितियों के तहत दक्षता और सटीकता को काफी बढ़ाती है। अध्ययन ने पूर्ण कैप्ड संदर्भ की तुलना एक क्वेरी-जागरूक सेमांटिक चयनकर्ता से की, जो बजट का 60% बनाए रखता है, जिसमें गति और सटीकता में महत्वपूर्ण सुधार दिखा।
- माध्य Qwen इनपुट टोकन 41.32% कम हो गए, 13,124.5 से घटकर 7,701.8 हो गए।
- माध्य प्रीफिल समय 46.85% कम हुआ, 870.8 ms से घटकर 462.8 ms हो गया।
- चयन सहित अंत-से-अंत अग्रिम समय 45.02% कम हुआ, 943.9 ms से घटकर 518.9 ms हो गया।
- शीर्ष VRAM उपयोग 2.55 GiB कम हुआ, 11.71 GiB से घटकर 9.16 GiB हो गया।
- टोकन F1 स्कोर में 0.0468 की वृद्धि हुई, 0.5342 से बढ़कर 0.5810 हो गया।
परिणाम संकेत करते हैं कि केवल 60% संदर्भ को बनाए रखने से गणना लागत कम होती है और बेहतर उत्तर गुणवत्ता मिलती है, हालांकि यह परीक्षण विशेष रूप से लंबे, अनावश्यक संदर्भ के प्रति मजबूती को मापता है, न कि प्राकृतिक-वितरण प्रदर्शन को।