Pesquisadores propõem o DeLS-Spec, um método que trata o modelo DFlash fixo como um especialista em contexto longo enquanto introduz uma cabeça local leve como especialista em contexto curto. Esta abordagem permite treinar a cabeça local independentemente com um objetivo padrão de previsão do próximo token, evitando a necessidade de treinamento conjunto com o modelo alvo ou a base DFlash.
- O DeLS-Spec combina os logits de contexto longo e curto durante a inferência sem vincular a cabeça local a um checkpoint específico do DFlash.
- O método alcança custos de treinamento extremamente baixos ao desacoplar o processo de rascunho.
- Experimentos em modelos Qwen3 demonstram melhorias consistentes em aceleração e comprimento médio de aceitação em benchmarks de matemática, código e diálogo em comparação com o DFlash.
Este design modular oferece maior flexibilidade e eficiência para a decodificação especulativa sem exigir retreinamento caro dos modelos de rascunho.