JoLT mencapai kompresi cache KV hampir tanpa kehilangan melalui dekomposisi Tucker gabungan dan alokasi residual JL

Para peneliti memperkenalkan JoLT, sebuah metode untuk mengompresi cache kunci-nilai (KV) dalam inferensi transformer dengan menganggapnya sebagai tensor orde ketiga. Pendekatan ini menerapkan dekomposisi Tucker parsial pada sumbu token dan fitur sambil menggunakan residual bit-rendah berputar Johnson-Lindenstrauss untuk memulihkan energi yang hilang selama pemotongan.

• Sebuah dual Lagrangian tunggal mengalokasikan peringkat Tucker dan lebar bit residual per kelompok lapisan di bawah anggaran satu byte.
• JoLT mencapai kompresi 2-3x dengan perplexity, akurasi GSM8K, dan pengambilan RULER tetap dalam noise statistik dari baseline tanpa kompresi pada Mistral-7B-v0.3 dan LLaMA-2-13B.
• Pada kompresi 2x, error Frobenius relatif adalah 0,009 untuk kunci dan 0,006 untuk nilai, satu orde magnitudo lebih rendah daripada SVD lintas-lapisan dan kuantisasi 4-bit.
• Varian SVD acak bernama FlashJoLT memberikan percepatan waktu kompresi 5-13x pada kualitas yang sebanding.

Metode ini mengatasi biaya memori dominan dari inferensi transformer dengan secara signifikan mengurangi ukuran cache KV tanpa menurunkan kinerja model.