Les auteurs présentent REAR, un nouveau cadre qui étend le scaling au moment du test (TTS) à l'alignement des préférences en modélisant la tâche comme un problème de réalignment. Cette approche comble la limite des méthodes TTS existantes, généralement restreintes aux domaines vérifiables tels que les mathématiques et la programmation.
- REAR décompose la fonction de récompense en deux composantes : l'une liée à la question et l'autre aux informations de préférence.
- La méthode dérive une Récompense de Réalignement (REAR) qui resélecte proportionnellement ces deux termes de récompense.
- REAR est formulée comme une combinaison linéaire des log-probabilités de politique au niveau des tokens, garantissant l'efficacité computationnelle.
- Il s'intègre facilement à divers algorithmes TTS, y compris l'échantillonnage best-of-N et la recherche arborescente.
- Les expériences démontrent la scalabilité pour des besoins utilisateurs variés et la généralisation aux tâches mathématiques et visuelles.
Ce cadre permet un réalignment évolutif au moment du test pour les tâches d'alignement des préférences sous divers besoins utilisateurs, sans nécessiter de curation coûteuse de données ou d'entraînement supplémentaire.