शोधकर्ताओं ने मानवीय प्रतिक्रिया से सीखने (RLHF) और प्रत्यक्ष प्राथमिकता अनुकूलन (DPO) के लिए एक मेटा-लर्निंग फ्रेमवर्क का प्रस्ताव रखा है, ताकि विभिन्न भाषाओं में मानवीय प्राथमिकता डेटा की असमान उपलब्धता की चुनौती को संबोधित किया जा सके। अन्य भाषाओं से प्राथमिकता डेटा का लाभ उठाकर, विधि एक स्थानांतरणीय प्रारंभिककरण (transferable initialization) सीखती है जो अत्यंत कम नमूनों का उपयोग करके लक्ष्य भाषा में प्रभावी ढंग से अनुकूलन की अनुमति देता है।
- दृष्टिकोण मेटा-रिवार्ड मॉडलिंग और मेटा-पॉलिसी अनुकूलन दोनों सेटिंग्स के लिए सैद्धांतिक गारंटी प्रदान करता है।
- केवल 100 लक्ष्य-भाषा प्राथमिकता नमूनों वाले अत्यंत कम संसाधन सेटिंग्स में, यह आधार विधियों की तुलना में जीत की दर में 28% तक की सुधार प्राप्त करता है।
- विधि कई लक्ष्य भाषाओं और मॉडल स्केल के across आधार रेखाओं को लगातार बेहतर करती है।
- लाभ मेटा-प्रशिक्षण भाषाओं के विभिन्न संयोजनों और लक्ष्य भाषाओं से भिन्न भाषिक दूरियों के पार बनाए रखे जाते हैं।
यह दृष्टिकोण न्यूनतम लेबल वाले डेटा के साथ प्रभावी अनुकूलन को सक्षम बनाकर, बहुभाषी एलाइनमेंट में डेटा की कमी की समस्याओं को कम करने में मदद करता है।