एक अध्ययन जांचता है कि मूल्यांकनकर्ता के निर्णयों की प्रायिकता केलिब्रेशन "मूल्यांकनकर्ता पसंद युग्मन" को कम कर सकता है या नहीं, जहां व्यवस्थित पूर्वाग्रह LLM एजेंट की रणनीति में फैलते हैं। लेखक इस न्यूनीकरण दृष्टिकोण का पहला विश्लेषण प्रस्तुत करते हैं, जो बेमानी पसंद के प्रसार को कम करने के लिए युग्मित निर्णयों पर केलिब्रेशन लागू करते हैं।
- DeepSeek-V4-Pro को निष्पादक और GLM5.2 को मूल्यांकनकर्ता के रूप में उपयोग करते हुए एक नियंत्रित प्रयोग में, आत्मविश्वास-केलिब्रेटेड TTRL ने मानक द्विआधारी अपडेट की तुलना में युग्मन गुणांक गामा को 20-49% तक कम कर दिया।
- केलिब्रेटेड विधि के साथ जेंसेन-शैनन विचलन 45-67% तक कम हो गया।
एक सममित-LR नियंत्रण ने पुष्टि की कि ये सुधार अपडेट असममिति में कमी के कारण नहीं थे।
लेखक केलिब्रेटेड TTRL प्रोटोकॉल जारी करते हैं और LLM-as-judge डिप्लॉयमेंट पाइपलाइन के लिए इसे एक हल्के न्यूनीकरण के रूप में अनुशंसा करते हैं।