한 사용자가 Strix Halo 시스템에서 Qwen 3.5 122B와 같은 대규모 모델을 실행할 때 긴 prefill 시간을 완화하기 위해 llama-server의 KV 캐시 구성을 최적화하는 데 도움을 요청하고 있습니다.

  • 사용자는 VRAM과 컨텍스트 창을 관리하기 위해 --cache-ram 16384, --ctx-checkpoints 72, 그리고 --checkpoint-min-step 4096을 구성했습니다.
  • 100k 컨텍스트에서 전체 캐시 미스가 발생하면 prefill 시간이 약 10~20분이 되어 매우 심각한 문제로 간주됩니다.
  • 사용자 프롬프트 후 체크포인트가 가끔 누락되며, 특히 Crush coding agent나 Codex와 같은 agentic 워크플로우에서 두드러집니다.
  • 오래된 체크포인트는 시간이 지남에 사라져 몇 개의 활성 컨텍스트 체크포인트만 남게 되며, 더 큰 캐시 미스 시 재처리를 유발합니다.
  • 사용자는 K/V 양자화(예: q8)를 고려 중이며, 이를 통해 사용 가능한 체크포인트 수를 두 배로 늘릴 수 있지만, 이미 q4인 모델에 대한 품질 영향에 대해 의문을 제기합니다.

사용자는 커뮤니티의 의견을 기대하며, 캐시 설정 미세 조정과 체크포인트 누락 문제 해결을 통해 빠른 agentic 반복 동안 성능을 개선하기를 바랍니다.