Исследователи предлагают две стратегии для повышения эффективности обратной связи при обучении с подкреплением по человеческой обратной связи (RLHF) для диффузионных моделей: селективное взвешивание временных шагов и воспроизведение на основе преимущества. Эти методы решают проблему высокой стоимости оценки вознаграждения за счет выделения информативных временных шагов и траекторий во время оптимизации.
- Схема взвешивания для каждого временного шага переопределяет шаги денормализации, теоретически связываясь со свойствами сходимости проксимальной оптимизации политики (PPO).
- Механизм воспроизведения на основе преимущества приоритизирует информативные траектории, позволяя модели повторно использовать прошлые образцы вместо запроса новых вознаграждений.
- Подход достигает улучшения образцовой эффективности до 6 раз по сравнению с широко используемыми базовыми методами диффузионного RLHF при идентичных настройках гиперпараметров.
Эти стратегии значительно повышают практическую применимость диффузионного RLHF, уменьшая зависимость от обширной обратной связи от человека или модели вознаграждения, сохраняя при этом обобщающую способность для невидимых подсказок.