Исследователи предлагают Frequency-Corrected Prompt Alignment (FCPA), новую формулировку согласованности генератора и валидатора, которая устраняет разрыв G-V в больших языковых моделях. Метод применяет обоснованную коррекцию для частоты высказываний, решая проблемы, при которых генераторы присваивают низкую вероятность допустимым строкам просто потому, что они априори маловероятны.

  • FCPA реализует цель обучения на основе согласованности G-V с поправкой на частоту для LLM реального мира.
  • Обучение с использованием FCPA существенно улучшает как согласованность G-V, так и производительность генератора по сравнению с предыдущими методами.
  • Подход дает прирост до +27pp в корреляции Пирсона на бенчмарках IFEval и HumanEval.
  • Качество валидатора сохраняется во всех оцененных задачах, несмотря на улучшения производительности генератора.

Авторы считают это важным, поскольку метод обеспечивает надежный механизм согласования процессов генерации и валидации, что приводит к более надежным выводам модели без ухудшения возможностей валидатора.