本論文では、極低ビット大規模言語モデルの重み圧縮のために設計されたコードブックフリーのフレームワークであるBiSCo-LLMを紹介します。これは、明示的なコードブックとインデックスルックアップを排除しつつ表現容量を維持することで、既存の方法の限界に対処します。

  • ローカル重みチャンクは単位超球面上にマッピングされ、主要なペイロードとしてビットパックされた符号ストリームを使用してコンパクトな球面符号に二値化されます。
  • 残差BSQステージは、保存されたコードブックなしで明示的なレート歪み経路を提供するために再構成誤差をエンコードします。
  • Transformerモジュールのカテゴリを置き換えた後、ローカル重みの再構成とモデルの動作との間の不一致を減らすために、カテゴリごとの回復蒸留が適用されます。
  • 8ビット保護チャネルパスは敏感なチャネルを安定化させ、BSQペイロードとは別にカウントされます。

このフレームワークは、二値コード、ニューラルデコーダ、保護チャネルペイロード、LoRAアダプタ、およびメタデータを含むストレージ予算を提供します。