Objetivo de treinamento FCPA melhora o alinhamento gerador-validador de LLM

Pesquisadores introduzem Frequency-Corrected Prompt Alignment (FCPA), uma nova formulação da consistência gerador-validador que aborda a lacuna G-V em grandes modelos de linguagem. O método aplica uma correção fundamentada para a frequência de enunciados, resolvendo problemas onde os geradores atribuem baixa probabilidade a strings válidas simplesmente porque são improváveis a priori.

• FCPA implementa um objetivo de treinamento baseado na consistência G-V corrigida por frequência para LLMs do mundo real.
• O treinamento com FCPA melhora substancialmente tanto a consistência G-V quanto o desempenho do gerador em comparação com métodos anteriores.
• A abordagem resulta em ganhos de até +27pp na correlação de Pearson nos benchmarks IFEval e HumanEval.
• A qualidade do validador é preservada em todas as tarefas avaliadas apesar das melhorias no desempenho do gerador.

Os autores consideram isso importante porque fornece um mecanismo robusto para alinhar os processos de geração e validação, levando a saídas de modelo mais confiáveis sem degradar as capacidades do validador.