本文介绍了 BiSCo-LLM，这是一个无需码本的框架，专为极低比特大语言模型权重的极端压缩而设计。它通过消除显式码本和索引查找，同时保持表示能力，解决了现有方法的局限性。

  • 局部权重块被映射到单位超球面上，并二值化为紧凑的球面编码，使用位打包符号流作为主要负载。
  • 残差 BSQ 阶段对重建误差进行编码，以提供显式的率失真路径，而无需存储码本。
  • 在替换 Transformer 模块类别后应用按类别恢复蒸馏，以减少局部权重重建与模型行为之间的不匹配。
  • 8 位受保护通道路径稳定敏感通道，并单独计入 BSQ 负载之外。

该框架提供的存储预算包括二进制编码、神经解码器、受保护通道负载、LoRA 适配器和元数据。