El objetivo de entrenamiento FCPA mejora la alineación generador-validador de LLM

Los investigadores presentan Frequency-Corrected Prompt Alignment (FCPA), una nueva formulación de la consistencia generador-validador que aborda la brecha G-V en modelos de lenguaje grandes. El método aplica una corrección fundamentada para la frecuencia de enunciados, resolviendo problemas donde los generadores asignan baja probabilidad a cadenas válidas simplemente porque son a priori improbables.

• FCPA implementa un objetivo de entrenamiento basado en la consistencia G-V corregida por frecuencia para LLM del mundo real.
• El entrenamiento con FCPA mejora sustancialmente tanto la consistencia G-V como el rendimiento del generador en comparación con métodos anteriores.
• El enfoque produce ganancias de hasta +27pp en la correlación de Pearson en los benchmarks IFEval y HumanEval.
• La calidad del validador se preserva en todas las tareas evaluadas a pesar de las mejoras en el rendimiento del generador.

Los autores consideran esto importante porque proporciona un mecanismo robusto para alinear los procesos de generación y validación, lo que lleva a salidas de modelo más confiables sin degradar las capacidades del validador.