사용자가 단일 RTX 3090에서 Qwen 3.6-27B 모델을 사용하여 다섯 가지 llama.cpp 포크 및 변형 버전을 벤치마킹하여 추론 디코딩 성능을 평가했습니다.

  • ubergarm 튜닝된 MTP를 사용한 ik_llama는 63.9 TPS의 가장 높은 내러티브 속도를 달성했으며, ngram+MTP 변형 버전은 코드 생성에서 87.8 TPS에 도달했습니다.
  • 독립적인 초안 모델을 사용하는 beellama는 DFlash를 통해 96.8 TPS의 가장 높은 코드 처리량을 기록했지만 504ms의 높은 TTFT로 인해 성능이 저하되었습니다.
  • 메인라인 llama.cpp는 가장 낮은 TTFT(288ms)를 제공했으며, 포크 버전들이 상당한 성능 저하를 보인 것과 달리 컨텍스트 길이에 걸쳐 일관된 속도를 유지했습니다.
  • Spiritbuun은 -9%의 컨텍스트 저하로 강력한 일관성을 제공한 반면, LUCEBOX는 모든 지표에서 부진한 성능을 보였습니다.

이 결과는 로컬 추론용 엔진 선택 시 원시 처리량, 첫 토큰까지의 시간(TTFT), 그리고 컨텍스트 안정성 간의 균형을 보여줍니다.