Les chercheurs proposent l'Augmentation de Récompense Lagrangienne (LARA), un cadre pour orienter les modèles de langage gelés pendant le décodage sous des contraintes de sécurité explicites, sans mises à jour répétées des poids. LARA dualise la contrainte pour réduire l'optimisation à un problème convexe unidimensionnel, produisant une récompense augmentée qui sert de signal de score plug-in pour les méthodes existantes.
- La méthode dérive d'un objectif contraint régulé par KL utilisant des modèles de récompense et de coût.
- Elle estime une variable duale sur un petit ensemble d'étalonnage pour définir la récompense augmentée.
- Pour l'échantillonnage au niveau de la séquence comme le reranking Best-of-N, la variable résout le problème sous contrainte de coût attendu.
- Pour le décodage au niveau des tokens, elle fournit une heuristique dual-calibrée sur des principes théoriques.
LARA améliore le compromis entre utilité et innocuité, les performances de Best-of-N approchant les bases d'alignement direct basées sur le fine-tuning.