Un usuario realizó un benchmark de cinco bifurcaciones y variantes de llama.cpp utilizando el modelo Qwen3.6-27B en una única RTX 3090 para evaluar el rendimiento de la decodificación especulativa.

  • ik_llama con ubergarm-tuned MTP logró la mayor velocidad narrativa a 63.9 TPS, mientras que su variante ngram+MTP alcanzó 87.8 TPS para generación de código.
  • beellama usando DFlash con un modelo de borrador independiente registró el mayor rendimiento de código a 96.8 TPS pero sufrió de un TTFT alto de 504ms.
  • Mainline llama.cpp ofreció el menor TTFT (288ms) y mantuvo una velocidad constante en todas las longitudes de contexto, a diferencia de las bifurcaciones que mostraron una degradación significativa.
  • Spiritbuun proporcionó una fuerte consistencia con solo -9% de degradación de contexto, mientras que LUCEBOX tuvo un rendimiento deficiente en todas las métricas.

Los resultados destacan los compromisos entre el rendimiento bruto, el tiempo hasta el primer token y la estabilidad del contexto al seleccionar un motor para inferencia local.