L'objectif d'entraînement FCPA améliore l'alignement générateur-validateur des LLM

Les chercheurs introduisent Frequency-Corrected Prompt Alignment (FCPA), une nouvelle formulation de la cohérence générateur-validateur qui comble le fossé G-V dans les grands modèles de langage. La méthode applique une correction fondée sur la fréquence des énoncés, résolvant les problèmes où les générateurs attribuent une faible vraisemblance à des chaînes valides simplement parce qu'elles sont a priori peu probables.

• FCPA implémente un objectif d'entraînement basé sur la cohérence G-V corrigée par fréquence pour les LLM réels.
• L'entraînement avec FCPA améliore substantiellement à la fois la cohérence G-V et les performances du générateur par rapport aux méthodes antérieures.
• Cette approche permet des gains allant jusqu'à +27pp en corrélation de Pearson sur les benchmarks IFEval et HumanEval.
• La qualité du validateur est préservée sur toutes les tâches évaluées malgré les améliorations des performances du générateur.

Les auteurs considèrent cela comme important car il fournit un mécanisme robuste pour aligner les processus de génération et de validation, conduisant à des sorties de modèle plus fiables sans dégrader les capacités du validateur.