RaBitQCache adalah kerangka kerja perhatian jarang baru yang dirancang untuk mengatasi hambatan memori dan komputasi dari cache Key-Value (KV) dalam inferensi Model Bahasa Besar konteks panjang. Ini memanfaatkan kuantisasi biner berputar acak dan aritmatika biner-INT4 throughput tinggi untuk memperkirakan bobot perhatian secara efisien.
- Metode ini menggunakan skor proksi tanpa bias dengan batas kesalahan yang terbukti untuk memungkinkan pengambilan Top-p adaptif, menyesuaikan anggaran token secara dinamis berdasarkan kelangkaan perhatian aktual.
- Implementasi sistem yang sadar perangkat keras menggabungkan perpipaan asinkron dan pembaruan lambat untuk menutupi overhead komputasi.
- Evaluasi menunjukkan bahwa RaBitQCache secara signifikan mempercepat inferensi dan mengurangi I/O memori sambil mempertahankan kualitas generasi dibandingkan dengan baseline mutakhir.
Pendekatan ini menawarkan alternatif yang lebih efisien daripada pengambilan anggaran tetap statis atau skor proksi yang mahal secara komputasi, meningkatkan kinerja tanpa mengorbankan kualitas output.