Les chercheurs proposent DeLS-Spec, une méthode qui traite le modèle DFlash fixe comme un expert de contexte long tout en introduisant une tête locale légère comme expert de contexte court. Cette approche permet d'entraîner la tête locale indépendamment avec un objectif standard de prédiction du prochain jeton, évitant ainsi la nécessité d'un entraînement conjoint avec le modèle cible ou le backbone DFlash.
- DeLS-Spec combine les logits de contexte long et de contexte court au moment de l'inférence sans lier la tête locale à un checkpoint DFlash spécifique.
- La méthode atteint des coûts d'entraînement extrêmement faibles en découplant le processus de rédaction.
- Les expériences sur les modèles Qwen3 démontrent des améliorations constantes du gain de vitesse et de la longueur moyenne d'acceptation sur les benchmarks de mathématiques, de code et de dialogue par rapport à DFlash.
Cette conception modulaire offre une plus grande flexibilité et efficacité pour le décodage spéculatif sans nécessiter de réentraînement coûteux des modèles de rédaction.