शोधकर्ताओं ने बहु-शिक्षक ऑन-पॉलिसी डिस्टिलेशन में लीवरेज व्यवस्था असंतुलन की पहचान की, जहाँ साधारण सामान्यीकृत ज्ञान डिस्टिलेशन के कारण मॉडल्स रिक्वायरमेंट में सुधार होने के बावजूद टूल का अत्यधिक उपयोग करते हैं। इसका समाधान करने के लिए, वे Soft Clamp प्रस्तावित करते हैं, जो एक प्रति-टोकन विचलन कैलिब्रेशन विधि है जो गैर-शून्य ग्रेडिएंट को बनाए रखते हुए चरम टोकन-स्तर जेन्सेन-शैनोन विचलन को गतिशील रूप से संपीड़ित करती है।
- साधारण GKD के सापेक्ष APIGen-MT पर टूल कॉल के अत्यधिक उपयोग को 13.7% से घटाकर 9.0% कर दिया गया है।
- विधि साधारण सामान्यीकृत ज्ञान डिस्टिलेशन की निर्णय सटीकता के बराबर है।
- BFCL मल्टी-टर्न डायग्नोस्टिक्स में, Soft Clamp ने GKD वेरिएंट्स के बीच टूल कॉल लूप और पुनरावृत्त कॉल को कम किया।
ये परिणाम सुझाव देते हैं कि बहु-शिक्षक ऑन-पॉलिसी डिस्टिलेशन में शिक्षक संकेतों को स्थानीय टोकन-स्तर स्थानों पर कहाँ कार्य करते हैं, का निगरानी रखना चाहिए, न कि केवल समग्र हानि मेट्रिक्स पर निर्भर रहना चाहिए।