Исследователи предлагают две стратегии для повышения эффективности обратной связи при обучении с подкреплением по отзывам человека (RLHF) для диффузионных моделей: селективное взвешивание временных шагов и воспроизведение на основе преимущества. Эти методы решают проблему высокой стоимости оценок человеком или моделью вознаграждения, акцентируя внимание на информативных временных шагах и траекториях во время оптимизации.

  • Схема взвешивания для каждого временного шага переобновляет шаги денормализации, теоретически связываясь со свойствами сходимости проксимальной оптимизации политики (PPO).
  • Механизм воспроизведения на основе преимущества приоритизирует информативные траектории, позволяя модели повторно использовать прошлые образцы вместо запроса новых вознаграждений.
  • Подход достигает улучшения в образцовой эффективности до 6 раз по сравнению с широко используемыми базовыми моделями диффузионного RLHF при идентичных настройках гиперпараметров.

Эти стратегии значительно повышают практическую применимость диффузионного RLHF, снижая зависимость от обширной обратной связи при сохранении обобщающей способности для невидимых подсказок.