Spiritbuun의 llama.cpp 포크가 동적 컨텍스트를 위한 VBR KV 캐시 추가

Spiritbuun은 llama.cpp 포크에 가변 비트율(VBR) 기능을 추가하여, 컨텍스트 길이가 증가함에 따라 KV 캐시 양자화 계층을 동적으로 저하시킬 수 있게 되었습니다. 이를 통해 사용자는 최소 정밀도 하한선을 설정하면서 사용 가능한 VRAM 내에 맞도록 계층을 자동으로 조정할 수 있습니다.

• VBR은 시작 시 남은 메모리에서 KV VRAM 예산을 도출하고, 컨텍스트가 채워짐에 따라 계층을 실시간으로 저하시킵니다.
• Qwen3.6-35B-A3B가 탑재된 RTX 3060에서의 벤치마크 결과, VBR은 고정 turbo4 대비 TTFT가 약 2배 빠르고(93ms 대 178ms), VRAM 사용량도 낮아졌습니다(10.2 GiB 대 11 GiB).
• VBR 사용 시 디코드 TPS는 약 4% 느리지만(50.85 대 52.83), 컨텍스트 예산은 자동으로 216k 토큰에 맞게 조정되었습니다.

이 기능은 코덱이나 컨텍스트 길이의 수동 구성 없이 동적 컨텍스트 지원을 제공함으로써, 제한된 VRAM 환경에서 로컬 추론 성능을 향상시키는 데 도움이 됩니다.