TIS 2.0 अपडेट एक पृष्ठ पुनः क्रमिकरण क्षमता प्रस्तुत करता है जो अतिरिक्त प्रशिक्षण की आवश्यकता के बिना प्राप्ति-संवर्धित उत्पादन में "बीच में खोया हुआ" स्थिति पूर्वाग्रह को समाप्त करता है। प्राप्त दस्तावेजों को पुनः क्रमित करने के लिए सीखे गए टोकन महत्व स्कोर लागू करके, सिस्टम शून्य स्थिति अंतर प्राप्त करता है और आधार रेखाओं की तुलना में सटीक मिलान सटीकता को 5 प्रतिशत बिंदु से बढ़ाता है।

  • TIS स्कोर के माध्यम से पृष्ठों का पुनः क्रमिकरण LITM अंतर को 0.000 तक कम कर देता है और EM को 21.7% तक बढ़ा देता है, जो MS-MARCO क्वेरी पर ऑरेकल प्रदर्शन से मेल खाता है।
  • मौजूदा `tis-stage3-ert` चेकपॉइंट, जिसका मूल रूप से KV कैश संपीड़न के लिए प्रशिक्षण किया गया था, समान परिणामों के साथ पृष्ठ पुनः क्रमिकरण के लिए जीरो-शॉट स्थानांतरित हो जाता है।
  • एक नया `QueryAwareImportanceHead` मॉड्यूल प्रति-पृष्ठ प्रासंगिकता स्कोरिंग के लिए क्रॉस-एटेंशन क्वेरी-संदर्ब इंटरैक्शन और InfoNCE कंट्रास्टिव प्रशिक्षण जोड़ता है।
  • स्पेकुलेटिव डिकोडिंग में TIS महत्व पूर्वाग्रह को एकीकृत करने से ड्राफ्टर स्वीकृति लंबाई 5.80 से बढ़कर 6.57 हो जाती है, जिससे LLaMA-3 मॉडल पर 12.5% की गति वृद्धि होती है।
  • नए चेकपॉइंट `tis-passage-reranker` और `tis-v8b-hard-anchor` अब अपडेट किए गए GitHub रिपॉजिटरी के साथ HuggingFace पर उपलब्ध हैं।

लेखकों ने नोट किया है कि जबकि TIS प्रभावी ढंग से स्थिति पूर्वाग्रह को संबोधित करता है, उत्तर निष्कर्षण प्राथमिक बाधा बना हुआ है, क्योंकि लगभग 76% परीक्षण मामले अभी भी गलत हैं, भले ही इष्टतम पुनः क्रमिकरण के बाद।