Pesquisadores propõem o Aumento de Recompresa Lagrangiano (LARA), um framework para direcionar modelos de linguagem congelados durante a decodificação sob restrições de segurança explícitas, sem atualizações repetidas de pesos. O LARA dualiza a restrição para reduzir a otimização a um problema convexo unidimensional, produzindo uma recompensa aumentada que serve como sinal de pontuação pronto para uso para métodos existentes.
- O método deriva de um objetivo restrito com regularização KL usando modelos de recompensa e custo.
- Ele estima uma variável dual em um pequeno conjunto de calibração para definir a recompensa aumentada.
- Para amostragem em nível de sequência, como Best-of-N reranking, a variável resolve o problema com restrição de custo esperado.
- Para decodificação em nível de token, ela fornece uma heurística dual-calibrada fundamentada.
O LARA melhora a compensação entre utilidade e inocuidade, com o desempenho do Best-of-N aproximando-se das linhas de base de alinhamento direto baseadas em ajuste fino.