Este artigo apresenta uma investigação prática sobre técnicas de decodificação especulativa relaxada sem treinamento, que aceleram a amostragem autoregressiva de LLMs usando um modelo auxiliar para rascunhar tokens. Os autores unificam abordagens existentes dentro de um framework compartilhado e as avaliam em configurações contemporâneas para extrair descobertas empíricas para profissionais.
- Relaxar a garantia estrita sem perdas da decodificação especulativa padrão pode gerar aceleramentos adicionais, compensações controladas entre capacidade e velocidade, ou até ganhos de capacidade.
- Avaliar as capacidades exigidas pelo relaxamento é mais considerável do que na decodificação especulativa sem perdas.
- Muitas abordagens relaxadas dependem de um rascunhador que é um bom modelo de linguagem, tornando-as inadequadas para rascunhadores dedicados leves de previsão multi-token.
As descobertas destacam que, embora o relaxamento ofereça benefícios de desempenho, ele introduz requisitos significativos de avaliação e restrições na escolha dos modelos de rascunho.