В статье представлен BiSCo-LLM, фреймворк без кодовой книги, предназначенный для экстремального сжатия весов больших языковых моделей низкого разряда. Он устраняет ограничения существующих методов за счет исключения явных кодовых книг и поиска индексов при сохранении репрезентативной емкости.
- Локальные фрагменты весов отображаются на единичную гиперсферу и бинаризуются в компактные сферические коды, используя битово упакованный поток знаков как основной полезный груз.
- Этап остаточного BSQ кодирует ошибки реконструкции, обеспечивая явный путь скорость-искажение без сохраненных кодовых книг.
- Дистилляция восстановления по категориям применяется после замены категорий модулей Transformer для уменьшения рассогласования между локальной реконструкцией весов и поведением модели.
- Путь защищенного канала с 8-битным представлением стабилизирует чувствительные каналы и учитывается отдельно от полезного груза BSQ.
Фреймворк предлагает бюджет хранения, включающий бинарные коды, нейронные декодеры, полезные грузы защищенного канала, адаптеры LoRA и метаданные.