Fork llama.cpp oleh Spiritbuun menambahkan cache KV VBR untuk konteks dinamis

Spiritbuun telah menambahkan fitur Variable Bit Rate (VBR) ke fork llama.cpp-nya, memungkinkan tier kuantisasi cache KV menurun secara dinamis seiring bertambahnya panjang konteks. Ini memungkinkan pengguna menetapkan batas presisi minimum sambil menyesuaikan tier secara otomatis agar muat dalam VRAM yang tersedia.

• VBR menurunkan anggaran VRAM KV dari memori sisa saat startup dan menurunkan tier secara langsung saat konteks terisi.
• Benchmark pada RTX 3060 dengan Qwen3.6-35B-A3B menunjukkan VBR mencapai TTFT hampir 2x lebih cepat (93ms vs 178ms) dan penggunaan VRAM lebih rendah (10,2 GiB vs 11 GiB) dibandingkan turbo4 tetap.
• TPS decode hanya ~4% lebih lambat dengan VBR (50,85 vs 52,83), dan anggaran konteks secara otomatis disesuaikan ke 216k token.

Fitur ini membantu pengguna mendorong inferensi lokal pada VRAM terbatas dengan menyediakan dukungan konteks dinamis tanpa konfigurasi manual codec atau panjang konteks.