लेखकों ने REAR पेश किया है, एक नवीनतम फ्रेमवर्क जो कार्य को पुनर्संरेखण समस्या के रूप में मॉडल करके प्राथमिकता संरेखण के लिए परीक्षण-समय स्केलिंग (TTS) का विस्तार करता है। यह दृष्टिकोण मौजूदा TTS तरीकों की सीमा को संबोधित करता है, जो आमतौर पर गणित और कोडिंग जैसे सत्यापन योग्य डोमेन तक ही सीमित होते हैं।
- REAR इनाम फलन को दो घटकों में विखंडित करता है: एक प्रश्न से संबंधित और दूसरा प्राथमिकता जानकारी से संबंधित।
- विधि इन दोनों इनाम पदों के अनुपात का चयनात्मक रूप से पुनः स्केलिंग करने वाला एक REAlignment Reward (REAR) व्युत्पन्न करती है।
- REAR को टोकन-स्तर नीति लॉग-संभावनाओं के रैखिक संयोजन के रूप में सूत्रबद्ध किया गया है, जो गणनात्मक दक्षता सुनिश्चित करता है।
- यह best-of-N सैंपलिंग और ट्री सर्च सहित विभिन्न TTS एल्गोरिदम के साथ आसानी से एकीकृत होता है।
- प्रयोग विविध उपयोगकर्ता आवश्यकताओं के लिए स्केलेबिलिटी और गणितीय तथा दृश्य कार्यों के लिए सामान्यीकरण को प्रदर्शित करते हैं।
यह फ्रेमवर्क महंगे डेटा चयन या अतिरिक्त प्रशिक्षण की आवश्यकता के बिना, विविध उपयोगकर्ता आवश्यकताओं के तहत प्राथमिकता संरेखण कार्यों के लिए स्केलेबल परीक्षण-समय पुनर्संरेखण सक्षम बनाता है।