RaBitQCache는 회전 이진 양자화를 사용하여 효율적인 장문맥 LLM 추론을 수행합니다

RaBitQCache는 장문맥 대규모 언어 모델 추론에서 Key-Value (KV) 캐시의 메모리 및 계산 병목 현상을 해결하도록 설계된 새로운 희소 어텐션 프레임워크입니다. 무작위 회전 이진 양자화와 높은 처리량의 바이너리-INT4 연산을 활용하여 어텐션 가중치를 효율적으로 추정합니다.

• 이 방법은 입증된 오류 한계가 있는 편향 없는 프록시 점수를 사용하여 적응형 Top-p 검색을 가능하게 하며, 실제 어텐션 희소성에 따라 토큰 예산을 동적으로 조정합니다.
• 하드웨어 인식 시스템 구현은 비동기 파이프라이닝과 지연 업데이트를 통합하여 계산 오버헤드를 마스킹합니다.
• 평가 결과, RaBitQCache가 최신 기준선과 비교하여 추론을 크게 가속화하고 생성 품질을 유지하면서 메모리 I/O를 줄이는 것으로 나타났습니다.

이 접근 방식은 정적 고정 예산 검색이나 계산 비용이 높은 프록시 점수에 비해 더 효율적인 대안을 제공하며, 출력 품질을 희생하지 않고 성능을 향상시킵니다.