Um novo arcabouço teórico estabelece que o Limite Inferior Evidence (ELBO) negativo em modelos de difusão discreta é exatamente igual à entropia dos dados mais a divergência KL do caminho do processo reverso oracle, em vez de servir meramente como um limite. Este teorema da "Distância Oracle" identifica o otimizador único como a esperança condicional da verdadeira taxa de salto reverso dado o estado ruidoso atual.
- O custo irredutível do treinamento é definido como a taxa na qual o processo direto destrói informações sobre os dados limpos.
- Para ruído fatorador de tokens, o otimizador tem três coordenadas exatas: denoiser, cavity (plug-in da ponte) e score, com conversões de forma fechada entre elas.
- O arcabouço recupera MDM, UDM, SEDD e GIDD como casos especiais e explica por que os parâmetros do denoiser e da cavidade coincidem para difusão mascarada, mas não para difusão uniforme.
- Ele prova que uma parametrização de denoiser causa a divergência do ELBO uniforme na inicialização, enquanto o plug-in da ponte permanece finito.
Este trabalho fornece calibração exata das implementações de ELBO na inicialização e esclarece qual lei subjacente cada função de perda existente otimiza.