연구자들은 확산 모델에 대한 인간의 피드백으로부터의 강화 학습(RLHF)의 피드백 효율성을 개선하기 위해 두 가지 전략을 제안했습니다: 선택적 타임스텝 가중치와 어드밴티지 기반 리플레이입니다. 이 방법들은 최적화 중에 정보적인 타임스텝과 궤도에 중점을 둠으로써 보상 평가의 높은 비용을 해결합니다.

  • 매 타임스텝별 가중치 부여 방식은 디노이징 단위의 가중치를 재조정하며, 이론적으로 근접 정책 최적화(PPO)의 수렴 특성과 연결됩니다.
  • 어드밴티지 기반 리플레이 메커니즘은 정보적인 궤도에 우선순위를 부여하여 모델이 새로운 보상을 쿼리하는 대신 과거 샘플을 재사용할 수 있게 합니다.
  • 이 접근 방식은 동일한 하이퍼파라미터 설정 하에서 널리 사용되는 확산 RLHF 베이스라인과 비교하여 샘플 효율성을 최대 6배 향상시킵니다.

이러한 전략들은 광범위한 인간 또는 보상 모델 피드백에 대한 의존도를 줄이고 보이지 않는 프롬프트에 대한 일반화를 유지함으로써 확산 RLHF의 실용성을 크게 향상시킵니다.