Um usuário fez benchmark de cinco forks e variantes do llama.cpp usando o modelo Qwen3.6-27B em uma única RTX 3090 para avaliar o desempenho da decodificação especulativa.

  • ik_llama com ubergarm-tuned MTP alcançou a maior velocidade narrativa a 63.9 TPS, enquanto sua variante ngram+MTP atingiu 87.8 TPS para geração de código.
  • beellama usando DFlash com um modelo de rascunho independente registrou a maior taxa de transferência de código em 96.8 TPS, mas sofreu com um TTFT alto de 504ms.
  • Mainline llama.cpp ofereceu o menor TTFT (288ms) e manteve velocidade consistente em todos os comprimentos de contexto, ao contrário dos forks que mostraram degradação significativa.
  • Spiritbuun forneceu forte consistência com apenas -9% de degradação de contexto, enquanto LUCEBOX teve desempenho ruim em todas as métricas.

Os resultados destacam os compromissos entre taxa de transferência bruta, tempo até o primeiro token e estabilidade do contexto ao selecionar um motor para inferência local.