Пользователь протестировал пять форков и вариантов llama.cpp с моделью Qwen3.6-27B на одной RTX 3090, чтобы оценить производительность спекулятивного декодирования.

  • ik_llama с настроенным ubergarm-tuned MTP показал наибольшую скорость генерации текста — 63.9 TPS, тогда как его вариант ngram+MTP достиг 87.8 TPS при генерации кода.
  • beellama, использующий DFlash с независимой черновой моделью, зафиксировал максимальную пропускную способность для кода — 96.8 TPS, но страдал от высокого TTFT в 504 мс.
  • Mainline llama.cpp обеспечил наименьший TTFT (288 мс) и поддерживал стабильную скорость независимо от длины контекста, в отличие от форков, показавших значительное снижение производительности.
  • Spiritbuun продемонстрировал высокую стабильность с потерей контекста всего на -9%, тогда как LUCEBOX показал плохие результаты по всем метрикам.

Результаты подчеркивают компромиссы между чистой пропускной способностью, временем до первого токена и стабильностью контекста при выборе движка для локального вывода.