Os autores propõem o BlockPilot, uma política adaptativa à amostra que seleciona dinamicamente o tamanho de bloco de inferência ideal para a decodificação especulativa baseada em difusão. Diferente dos métodos existentes que usam um tamanho de bloco fixo, esta abordagem formula a seleção do tamanho do bloco como um problema de aprendizado de política leve baseado nas representações de pré-preenchimento.
- Prevê o tamanho de bloco ideal a partir da representação da etapa de pré-preenchimento apenas uma vez após o pré-preenchimento.
- Explora a estrutura local dos valores ideais para reduzir o espaço de decisão.
- Alcança um comprimento de aceitação de 5.92 e uma aceleração de 4.20x no Qwen3-4B sob temperatura T=1.
O método é descrito como plug-and-play com sobrecarga mínima, melhorando consistentemente a eficiência ao se adaptar a amostras individuais.