Pengguna memindahkan KVarN ke runtime Bonsai untuk percepatan 68% dan VRAM <10GB pada konteks 120K

Seorang pengguna berhasil memindahkan metode kuantisasi KV cache terstruktur KVarN ke runtime Bonsai dari PrismML, memungkinkan model Bonsai-Ternary-27B berjalan secara efisien pada perangkat keras dengan memori terbatas.

• Implementasi ini menghasilkan peningkatan kecepatan generasi sebesar 68% (43 tok/s menjadi 73 tok/s) dan mengurangi penggunaan VRAM sebesar 3.3GB pada konteks 120K.
• Konsumsi VRAM total turun dari sekitar 13.1GB menjadi 9.8GB, memungkinkan model muat dengan nyaman di bawah 10GB.
• KVarN menerapkan transformasi Walsh-Hadamard dan penyeimbangan varians Sinkhorn sebelum kuantisasi untuk mempertahankan kualitas lebih baik daripada metode kuantisasi datar.
• Metode ini dianggap lebih menjanjikan untuk kasus penggunaan yang bergantung pada retensi dibandingkan TurboQuant, meskipun hal ini merusak kompatibilitas DFlash.

Pendekatan ini memungkinkan pengguna yang menjalankan model padat pada panjang konteks yang panjang untuk memuatnya ke dalam batasan VRAM yang lebih rendah tanpa kehilangan akurasi yang signifikan.