एक नया प्रस्ताव एक LLM मेमोरी संरचना को रेखांकित करता है जो लेट चंकिंग को ध्यान-वजनित किनारों के साथ जोड़ता है ताकि चरण-दर-चरण ट्रावर्सल सक्षम हो। सिस्टम Jina AI के एम्बेडिंग मॉडल का लाभ उठाता है, जो वाक्यों के बीच ध्यान की गणना करता है, दस्तावेज़ के आंतरिक प्रसंस्करण से किनारे के वजन निकालने के लिए।
- लेट चंकिंग संपूर्ण पाठ को टोकनाइज़ और एम्बेड करने के बाद चंक वेक्टर निकालने से पहले दस्तावेज़-स्तर संदर्भ को बनाए रखता है।
- एक फॉरवर्ड पास से ध्यान मैट्रिक्स ग्राफ़ किनारों को परिभाषित करते हैं, जिनके वजन इस बात पर आधारित होते हैं कि एक चंक ने दूसरे चंक को कितना ध्यान दिया।
- रिकवरी घटते बजट के साथ स्वारमिंग ट्रावर्सल का उपयोग करती है, जब लागत सीमाओं से अधिक हो जाती है तो रुकती है, न कि निश्चित हॉप गिनती पर।
- एम्बेडिंग अपडेट शेष बजट द्वारा प्रेरित होते हैं, यह सुनिश्चित करते हुए कि केंद्रीय नोड दूरस्थ नोड्स की तुलना में अधिक बदलते हैं।
यह दृष्टिकोण गतिशील संदर्भ प्रबंधन की अनुमति देता है जहाँ पुनर्प्राप्त जानकारी की प्रासंगिकता मेमोरी स्थिति पर इसके प्रभाव को निर्धारित करती है।