Los investigadores proponen DeLS-Spec, un método que trata al modelo DFlash fijo como un experto en contexto largo mientras introduce una cabeza local ligera como experta en contexto corto. Este enfoque permite entrenar la cabeza local de forma independiente con un objetivo estándar de predicción del siguiente token, evitando la necesidad de entrenamiento conjunto con el modelo objetivo o la base DFlash.
- DeLS-Spec combina los logits de contexto largo y corto durante la inferencia sin vincular la cabeza local a un checkpoint específico de DFlash.
- El método logra costos de entrenamiento extremadamente bajos al desacoplar el proceso de borrado.
- Los experimentos en modelos Qwen3 demuestran mejoras consistentes en aceleración y longitud promedio de aceptación en benchmarks de matemáticas, código y diálogo en comparación con DFlash.
Este diseño modular ofrece mayor flexibilidad y eficiencia para la decodificación especulativa sin requerir un reentrenamiento costoso de los modelos borradores.