Un utilisateur a testé cinq forks et variantes de llama.cpp avec le modèle Qwen 3.6-27B sur une seule RTX 3090 pour évaluer les performances du décodage spéculatif.
- ik_llama avec MTP ajusté par ubergarm a obtenu la vitesse narrative la plus élevée à 63,9 TPS, tandis que sa variante ngram+MTP a atteint 87,8 TPS pour la génération de code.
- beellama utilisant DFlash avec un modèle de draft indépendant a enregistré le débit de code le plus élevé à 96,8 TPS mais souffre d'un TTFT élevé de 504 ms.
- llama.cpp principal a offert le TTFT le plus bas (288 ms) et maintenu une vitesse constante sur les longueurs de contexte, contrairement aux forks qui ont montré une dégradation significative.
- Spiritbuun a fourni une forte cohérence avec seulement -9 % de dégradation du contexte, tandis que LUCEBOX a performé mal sur tous les indicateurs.
Les résultats mettent en évidence les compromis entre le débit brut, le temps jusqu'au premier jeton et la stabilité du contexte lors du choix d'un moteur pour l'inférence locale.