O artigo apresenta o BiSCo-LLM, um framework sem dicionário projetado para compressão extrema de pesos de modelos de linguagem grande de baixo bit. Ele aborda as limitações dos métodos existentes eliminando dicionários explícitos e buscas de índices enquanto mantém a capacidade de representação.
- Fragmentos locais de pesos são mapeados para uma hiperesfera unitária e binarizados em códigos esféricos compactos, usando um fluxo de sinais empacotado por bits como carga principal.
- Uma etapa BSQ residual codifica erros de reconstrução para fornecer um caminho explícito de taxa-distorção sem dicionários armazenados.
- Destilação de recuperação por categoria é aplicada após substituir as categorias de módulos Transformer para reduzir a discrepância entre a reconstrução local de pesos e o comportamento do modelo.
- Um caminho de canal protegido de 8 bits estabiliza canais sensíveis e é contado separadamente da carga BSQ.
O framework oferece um orçamento de armazenamento que inclui códigos binários, decodificadores neurais, cargas de canal protegido, adaptadores LoRA e metadados.