Los autores proponen BlockPilot, una política adaptativa a la muestra que selecciona dinámicamente el tamaño de bloque de inferencia óptimo para la decodificación especulativa basada en difusión. A diferencia de los métodos existentes que utilizan un tamaño de bloque fijo, este enfoque formula la selección del tamaño de bloque como un problema de aprendizaje de política ligero basado en representaciones de prellenado.
- Predice el tamaño de bloque óptimo a partir de la representación de la etapa de prellenado solo una vez después del prellenado.
- Explota la estructura local de los valores óptimos para reducir el espacio de decisión.
- Logra una longitud de aceptación de 5.92 y una aceleración de 4.20x en Qwen3-4B bajo temperatura T=1.
El método se describe como plug-and-play con sobrecarga mínima, mejorando consistentemente la eficiencia al adaptarse a muestras individuales.