Um usuário relata um aumento de 30-40% na velocidade de geração de tokens ao parear o modelo Ornith-1.0-35B como modelo rascunho com Qwen3.6-35B-A3B-DFlash usando llama-server.

  • A configuração usa Ornith-1.0-35B-GGUF (Q8_0) como o modelo de rascunho especulativo via sinalizador `--spec-type draft-dflash`.
  • Testes em um contexto de 50k de código JavaScript misturado e texto da Wikipedia resultaram em uma taxa de aceitação de tokens de 80%.
  • A configuração envolve executar o llama-server com parâmetros específicos para comprimento do contexto, temperatura e etapas de rascunho.

Embora essa combinação melhore a velocidade de geração, isso ocorre às custas de tempos de processamento de prompt significativamente mais lentos, o que significa que não é uma solução universal.