연구자들은 확산 모델에 대한 인간의 피드백으로부터의 강화 학습(RLHF)의 피드백 효율성을 향상시키기 위해 두 가지 전략을 제안합니다: 선택적 타임스텝 가중치와 어드밴티지 기반 리플레이. 이러한 방법은 최적화 중에 정보적인 타임스텝과 궤적을 강조함으로써 인간 또는 보상 모델 평가의 높은 비용을 해결합니다.

  • 매 타임스텝별 가중치 체계는 디노이징 단위의 가중치를 재조정하며, 이론적으로 근접 정책 최적화(PPO) 수렴 특성과 연결됩니다.
  • 어드밴티지 기반 리플레이 메커니즘은 정보적인 궤적을 우선시하여 모델이 새로운 보상을 쿼리하는 대신 과거 샘플을 재사용할 수 있게 합니다.
  • 이 접근 방식은 동일한 하이퍼파라미터 설정 하에서 널리 사용되는 확산 RLHF 베이스라인과 비교하여 최대 6배의 샘플 효율성 개선을 달성합니다.

이러한 전략들은 광범위한 피드백에 대한 의존성을 줄이고 보이지 않는 프롬프트에 대한 일반화를 유지함으로써 확산 RLHF의 실용성을 크게 향상시킵니다.