El artículo presenta BiSCo-LLM, un marco de trabajo sin diccionario diseñado para la compresión extrema de pesos de modelos de lenguaje grande de bajo bit. Aborda las limitaciones de los métodos existentes eliminando diccionarios explícitos y búsquedas de índices mientras mantiene la capacidad de representación.

  • Los fragmentos locales de pesos se mapean en una hipersfera unitaria y se binarizan en códigos esféricos compactos, utilizando un flujo de signos empaquetado por bits como carga principal.
  • Una etapa BSQ residual codifica los errores de reconstrucción para proporcionar una ruta explícita de tasa-distorsión sin diccionarios almacenados.
  • Se aplica destilación de recuperación por categoría después de reemplazar las categorías de módulos Transformer para reducir la discrepancia entre la reconstrucción local de pesos y el comportamiento del modelo.
  • Una ruta de canal protegido de 8 bits estabiliza los canales sensibles y se cuenta por separado de la carga BSQ.

El marco ofrece un presupuesto de almacenamiento que incluye códigos binarios, decodificadores neuronales, cargas de canal protegido, adaptadores LoRA y metadatos.