Os autores apresentam o REAR, um novo framework que estende o scaling em tempo de teste (TTS) para alinhamento de preferências, modelando a tarefa como um problema de realinhamento. Esta abordagem aborda a limitação dos métodos TTS existentes, que são tipicamente restritos a domínios verificáveis como matemática e programação.
- O REAR decompõe a função de recompensa em dois componentes: um relacionado à pergunta e outro às informações de preferência.
- O método deriva uma Recompensa de Realinhamento (REAR) que rescala seletivamente as proporções desses dois termos de recompensa.
- O REAR é formulado como uma combinação linear das log-probabilidades da política em nível de token, garantindo eficiência computacional.
- Ele se integra facilmente a vários algoritmos TTS, incluindo amostragem best-of-N e busca em árvore.
- Experimentos demonstram escalabilidade para diversos requisitos de usuários e generalização para tarefas matemáticas e visuais.
Este framework permite o realinhamento escalável em tempo de teste para tarefas de alinhamento de preferências sob diversos requisitos de usuários, sem a necessidade de curadoria de dados custosa ou treinamento adicional.