Los investigadores proponen el Aumento de Recompensa Lagrangiano (LARA), un marco para dirigir modelos de lenguaje congelados durante la decodificación bajo restricciones de seguridad explícitas sin actualizaciones repetidas de pesos. LARA dualiza la restricción para reducir la optimización a un problema convexo unidimensional, produciendo una recompensa aumentada que sirve como señal de puntuación lista para usar para métodos existentes.
- El método se deriva de un objetivo restringido con regularización KL utilizando modelos de recompensa y costo.
- Estima una variable dual en un pequeño conjunto de calibración para definir la recompensa aumentada.
- Para el muestreo a nivel de secuencia como Best-of-N reranking, la variable resuelve el problema con restricción de costo esperado.
- Para la decodificación a nivel de token, proporciona una heurística dual-calibrada fundamentada.
LARA mejora la compensación entre utilidad e inocuidad, con el rendimiento de Best-of-N acercándose a las líneas base de alineación directa basadas en ajuste fino.