शोधकर्ताओं ने ध्यान हेड रीवेइटिंग (AHR) का प्रस्ताव दिया, जो एक डेटा-कुशल विधि है जो बड़े भाषा मॉडलों को नए पाठ वर्गीकरण कार्यों के लिए अनुकूलित करती है, प्रत्येक ध्यान हेड के लिए केवल एक अदिश सीखकर। यह दृष्टिकोण प्रशिक्षणीय पैरामीटर की संख्या को नाटकीय रूप से कम करता है, मॉडल के कुल का लगभग 0.0001% संशोधित करता है।
- AHR न्यूनतम डेटा के साथ LLMs को अनुकूलित करने के लिए व्यक्तिगत ध्यान हेड्स के कार्यात्मक विशेषीकरण का लाभ उठाता है।
- विविध ओपन-सोर्स पाठ वर्गीकरण डेटासेट पर प्रयोग दिखाते हैं कि सीमित नमूनों से सीखते समय AHR LoRA जैसे मानक बेलाइन्स को पार करता है।
- इस विधि को तुलनीय अनुकूलन तकनीकों की तुलना में 200-1000x कम प्रशिक्षणीय पैरामीटर की आवश्यकता होती है।
- सीखे गए वजन व्याख्या योग्य हैं, जो संदर्भ में सीखने की क्षमताओं के लिए जिम्मेदार तंत्र और ध्यान हेड्स के विश्लेषण की अनुमति देते हैं।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह सुरक्षा जैसे क्षेत्रों में सीमित डेटा से प्रभावी सीखने की चुनौती को संबोधित करता है, जहाँ लेबल वाले उदाहरण दुर्लभ होते हैं।