Пользователь перенёс KVarN в Bonsai runtime для ускорения на 68% и использования <10 ГБ VRAM при контексте 120K

Пользователь успешно перенёс метод квантования KV-кэша KVarN с структурой в Bonsai runtime от PrismML, что позволило модели Bonsai-Ternary-27B эффективно работать на оборудовании с ограниченной памятью.

• Реализация привела к увеличению скорости генерации на 68% (73 против 43 ток/с) и снижению потребления VRAM на 3.3 ГБ при контексте 120K.
• Общее потребление VRAM снизилось с примерно 13.1 ГБ до 9.8 ГБ, что позволило модели комфортно уместиться в пределах 10 ГБ.
• KVarN применяет преобразование Уолша-Адамара и балансировку дисперсии Sinkhorn перед квантованием для лучшего сохранения качества по сравнению с методами плоского квантования.
• Метод считается более перспективным для задач, требующих удержания контекста, по сравнению с TurboQuant, хотя он нарушает совместимость с DFlash.

Этот подход позволяет пользователям, запускающим плотные модели при длинных контекстах, уместить их в ограничения по VRAM без значительной потери точности.