शोधकर्ताओं ने GeoSD पेश किया है, एक भौमिक स्व-प्रतिपादन उद्देश्य जो ऑन-पॉलिसी प्रतिपादन में आम बांटे के वितरण से विचलन को रोकने के लिए डिज़ाइन किया गया है। यह विधि छात्र की ओवरलैप के साथ शिक्षक की प्राथमिकताओं को स्केलिंग करके और फिशर-राओ दूरी का उपयोग करके भविष्यवाणी विचलन पर प्रतिबंध लगाकर इसका मुकाबला करती है।
- छात्र द्वारा अभी तक समर्थित नहीं किए जा सकने वाले टोकन पर निगरानी को कम करने के लिए हेलिंगर हानि का उपयोग करता है।
- हालिया चेकपॉइंट्स से विचलन को सीमित करने के लिए फिशर-राओ दूरी मापने वाला प्रॉक्सिमल पद लागू करता है।
- अगले टोकन वितरण की ज्यामिति के भीतर प्राकृतिक-ग्रैडिएंट अपडेट लागू करता है।
- गणितीय तर्क बेंचमार्क पर औसत OOD सटीकता में 5.7-8.6 अंक का सुधार करता है।
- 1.7B से 32B पैरामीटर तक मॉडल स्केल के माध्यम से लाभ को बनाए रखता है।
GeoSD उच्च एन्ट्रॉपी अवस्थाओं में वैकल्पिक भविष्यवाणियों को पहुँच योग्य रखते हुए, वितरण के भीतर प्रदर्शन को संरक्षित करते हुए सामान्यीकरण को महत्वपूर्ण रूप से बढ़ाता है।