사용자가 KVarN을 Bonsai 런타임으로 포팅하여 120K 컨텍스트에서 68% 속도 향상 및 10GB 미만 VRAM 달성

한 사용자가 KVarN 구조화된 KV 캐시 양자화 방법을 PrismML의 Bonsai 런타임으로 성공적으로 포팅하여, 메모리가 제한된 하드웨어에서 Bonsai-Ternary-27B 모델을 효율적으로 실행할 수 있게 되었습니다.

• 이 구현으로 생성 속도가 68% 향상되었으며(43 tok/s에서 73 tok/s), 120K 컨텍스트에서 VRAM 사용량이 3.3GB 감소했습니다.
• 총 VRAM 소비량은 약 13.1GB에서 9.8GB로 줄어들어 모델이 10GB 미만으로 편안하게 맞았습니다.
• KVarN은 양자화 전에 월시-하드마르드 변환과 Sinkhorn 분산 균형을 적용하여 평평한 양자화 방법보다 품질을 더 잘 유지합니다.
• 이 방법은 TurboQuant와 비교하여 보존 중심의 사용 사례에서 더 유망하지만 DFlash 호환성을 깨뜨립니다.

이 접근 방식을 사용하면 긴 컨텍스트 길이로 밀집 모델을 실행하는 사용자는 큰 정확도 손실 없이 낮은 VRAM 제약 내에 모델을 맞출 수 있습니다.