लेखकों ने Localized LoRA-MoE पेश किया, एक एकीकृत फ्रेमवर्क जो स्थानीयकृत स्थानिक ब्लॉकिंग को गतिशील, संदर्भ-शर्तित मार्गदर्शन के साथ जोड़ता है ताकि मानक पैरामीटर-कुशल फाइन-ट्यूनिंग विधियों की सीमाओं को दूर किया जा सके।
- ब्लॉक-वाइस LoRA-MoE एक एकात्मक संदर्भ सिग्नल के माध्यम से पूरी संरचनात्मक ग्रिड को मॉड्युलेट करता है।
- सेल-वाइस LoRA-MoE मैट्रिक्स ग्रिड में प्रत्येक निर्देशांक सेल को स्वायत्त, स्थानीयकृत विशेषज्ञ गेटिंग सशक्त बनाता है।
दोनों आर्किटेक्चर उच्च-आयामी SVD सिमुलेशन और स्थानिक दृश्य धारणा कार्यों में स्थिर बेलाइन्स में निहित अनुकूलन डेडलॉक को हल करते हैं।
- विकेंद्रीकृत सेल-स्तर गेटिंग एक सर्वज्ञ वैश्विक समन्वयक के साथ पूर्ण सांख्यिकीय समानता प्राप्त करता है।
फ्रेमवर्क एक मजबूत "ग्रेडिएंट फायरवॉल" प्रदान करता है जो बचे हुए मार्गों को दोष-प्रसारित भ्रष्टाचार से सुरक्षित रखता है, गतिशील मॉडल अनुकूलन के लिए एक स्केलेबल समाधान पेश करता है।