한 사용자가 Ornith-1.0-35B 모델을 드래프트 모델로 사용하여 llama-server와 Qwen3.6-35B-A3B-DFlash를 페어링함으로써 토큰 생성 속도를 30-40% 향상시켰다고 보고했습니다.

  • 구성은 `--spec-type draft-dflash` 플래그를 통해 Ornith-1.0-35B-GGUF (Q8_0)을 추론 드래프트 모델로 사용합니다.
  • 혼합된 JavaScript 코드와 위키백과 텍스트의 50k 컨텍스트에서 테스트한 결과, 토큰 수용률이 80%로 나타났습니다.
  • 이 설정은 컨텍스트 길이, 온도 및 드래프트 단계에 대한 특정 매개변수로 llama-server를 실행하는 것을 포함합니다.

이 조합은 생성 속도를 향상시키지만, 프롬프트 처리 시간이 현저히 느려지는 대가가 따르므로 범용 솔루션은 아닙니다.