Исследование изучает, как проектирование функции вознаграждения влияет на качество моделей бизнес-процессов, генерируемых большими языковыми моделями с использованием обучения с подкреплением. Исследователи обучали модели Llama 3.1 8B и Qwen 2.5 14B в рамках 48 конфигураций для оптимизации синтаксического, прагматического и семантического качества.

  • RL значительно улучшает прагматическое и синтаксическое качество при сохранении семантической точности, снижая вариативность вывода более чем в шесть раз.
  • Равное взвешивание вознаграждения стабильно превосходит целевое взвешивание, поскольку акцент на конкретном измерении может привести к коллапсу модели в низкокачественные режимы.

Выбор дизайна нетривиально взаимодействует с архитектурой модели; например, штрафы за невалидность и эффекты инициализации SFT различаются для Llama и Qwen.

Результаты демонстрируют, что композиция вознаграждения является основным детерминантом результатов оптимизации, при этом её эффекты сопоставимы с решением применить RL.