Esta pesquisa aborda a lacuna entre a vantagem teórica de geração paralela dos modelos de linguagem grandes de difusão (dLLMs) e sua velocidade prática de inferência. Introduz um framework unificado de decomposição de latência projetado para desvencilhar fatores algorítmicos, arquiteturais e de nível de sistema que impactam a implantação no mundo real.
Os autores categorizam as técnicas de aceleração ao longo de três eixos: inovações algorítmicas, otimizações arquiteturais e de sistema, e escalonamento durante a inferência. O trabalho fornece diretrizes para benchmarking reproduzível para abordar a dificuldade de comparações rigorosas em estudos existentes.
Ao analisar esses trade-offs, a pesquisa destaca desafios abertos para realizar o potencial total da geração paralela em dLLMs.