توضح اقتراح جديد بنية ذاكرة LLM تجمع بين التقطيع المتأخر مع حواف مرجحة بالاهتمام لتمكين الاجتياز خطوة بخطوة. يستفيد النظام من نموذج التضمين الخاص بـ Jina AI، الذي يحسب الاهتمام بين الجمل، لاستنتاج أوزان الحواف من المعالجة الداخلية للمستند.
- يحافظ التقطيع المتأخر على سياق مستوى المستند عن طريق تحويل النص الكامل إلى رموز وتضمينه قبل استنتاج متجهات الكتل.
- تحدد مصفوفات الانتباه من تمرير أمامي حواف الرسم البياني، مع أوزان تعتمد على مدى اهتمام كتلة بأخرى.
- يستخدم الاسترجاع اجتيازًا متجمعًا بميزانية متناقصة، ويتوقف عندما تتجاوز التكاليف الحدود بدلاً من عدد قفزات ثابت.
- يتم دفع تحديثات التضمين بواسطة الميزانية المتبقية، مما يضمن تغيير العقد المركزية أكثر من البعيدة.
يتيح هذا النهج إدارة ديناميكية للسياق حيث تحدد صلة المعلومات المسترجعة تأثيرها على حالة الذاكرة.