Makalah ini menyajikan BiSCo-LLM, sebuah framework bebas codebook yang dirancang untuk kompresi bobot model bahasa besar (LLM) bit sangat rendah. Ini mengatasi keterbatasan metode yang ada dengan menghilangkan codebook eksplisit dan pencarian indeks sambil mempertahankan kapasitas representasi.
- Potongan bobot lokal dipetakan ke hipersfera satuan dan dibinarkan menjadi kode bola kompak, menggunakan aliran tanda yang dikemas bit sebagai payload utama.
- Tahap BSQ residual mengkodekan kesalahan rekonstruksi untuk menyediakan jalur distorsi laju eksplisit tanpa codebook yang disimpan.
- Distilasi pemulihan per kategori diterapkan setelah mengganti kategori modul Transformer untuk mengurangi ketidakcocokan antara rekonstruksi bobot lokal dan perilaku model.
- Jalur saluran terlindungi 8-bit menstabilkan saluran sensitif dan dihitung terpisah dari payload BSQ.
Framework ini menawarkan anggaran penyimpanan yang mencakup kode biner, decoder neural, payload saluran terlindungi, adapter LoRA, dan metadata.