Uma investigação prática examina a decodificação especulativa relaxada sem treinamento, que acelera a amostragem autoregressiva de LLMs usando um modelo auxiliar mais rápido para rascunhar tokens que são então verificados em paralelo. O estudo unifica abordagens existentes dentro de uma estrutura compartilhada e as avalia em configurações contemporâneas para extrair descobertas empíricas para profissionais.
- A relaxação da garantia estrita sem perdas pode gerar aceleramentos adicionais, compensações controladas entre capacidade e velocidade, ou até ganhos de capacidade.
- Avaliar a capacidade é necessário para métodos relaxados, ao contrário da decodificação especulativa padrão sem perdas.
- Muitas abordagens relaxadas dependem de um rascunhador que é um bom modelo de linguagem, tornando-as inadequadas para rascunhadores dedicados leves de previsão multi-token.