새로운 이론적 프레임워크는 이산 확산 모델에서 음의 ELBO(Evidence Lower Bound)가 단순한 상한이 아니라 데이터 엔트로피와 오라클 역과정으로부터의 경로 KL 발산과 정확히 동일함을 확립했습니다. 이 "Oracle Distance" 정리는 현재 노이즈 상태가 주어졌을 때 참 역 점프율의 조건부 기대값인 유일한 최적화자를 식별합니다.
- 학습의 비감소 비용은 전방 과정이 깨끗한 데이터에 대한 정보를 파괴하는 속도로 정의됩니다.
- 토큰 분할 노이즈의 경우, 최적화자는 세 가지 정확한 좌표를 갖습니다: 디노이저, 캐비티(브리지 플러그인), 스코어이며, 이들 간에는 폐쇄형 변환이 가능합니다.
- 이 프레임워크는 MDM, UDM, SEDD, GIDD를 특수 사례로 복원하며, 마스킹 확산에서는 디노이저와 캐비티 매개변수가 일치하지만 균일 확산에서는 일치하지 않는 이유를 설명합니다.
- 디노이저 파라미터화가 초기화 시 균일 ELBO가 발산하는 반면 브리지 플러그인은 유한함을 유지함을 증명합니다.
이 연구는 초기화 시 ELBO 구현의 정확한 보정을 제공하고 각 기존 손실 함수가 최적화하는 기본 법칙을 명확히 합니다.