RaBitQCache — это новая система разреженного внимания, предназначенная для решения проблем с памятью и вычислительными ограничениями ключ-значения (KV) кэша при выводе больших языковых моделей с длинным контекстом. Она использует рандомизированное вращенное бинарное квантование и высокопроизводительную арифметику бинарного INT4 для эффективной оценки весов внимания.
- Метод использует несмещенный прокси-счетчик с доказанной границей ошибки, что позволяет выполнять адаптивный поиск Top-p, динамически корректируя бюджет токенов в зависимости от фактической разреженности внимания.
- Аппаратно-ориентированная реализация системы включает асинхронное трубопроводное выполнение и ленивые обновления для маскировки вычислительных накладных расходов.
- Оценка показывает, что RaBitQCache значительно ускоряет вывод и снижает объем ввода-вывода памяти, сохраняя качество генерации по сравнению с современными базовыми моделями.
Этот подход предлагает более эффективную альтернативу статическому извлечению с фиксированным бюджетом или вычислительно затратным прокси-счетчикам, улучшая производительность без ущерба для качества вывода.