Spiritbuun добавил функцию переменной битовой скорости (VBR) в свой форк llama.cpp, позволяя уровню квантования KV-кэша динамически снижаться по мере увеличения длины контекста. Это позволяет пользователям устанавливать минимальный порог точности, автоматически регулируя уровни для размещения в доступной видеопамяти.

  • VBR вычисляет бюджет VRAM KV из оставшейся памяти при запуске и снижает уровни на лету по мере заполнения контекста.
  • Тесты на RTX 3060 с Qwen3.6-35B-A3B показывают, что VBR обеспечивает почти в 2 раза более быстрый TTFT (93 мс против 178 мс) и меньшее использование VRAM (10,2 ГБ против 11 ГБ) по сравнению с фиксированным turbo4.
  • Скорость декодирования TPS всего на ~4% медленнее при использовании VBR (50,85 против 52,83), а контекстный бюджет автоматически подстроился под 216k токенов.

Эта функция помогает пользователям запускать локальный вывод с ограниченной видеопамятью, обеспечивая динамическую поддержку контекста без ручной настройки кодека или длины контекста.