Исследователи представляют Квантование с переменной разрядностью (VBQ), метод во время обучения, при котором каждая непрерывная группа из 64 весов учит собственное разрешение из {1,2,4,8} бит через релаксацию Gumbel-Softmax. VBQ обнаруживает согласованное, сильно гетерогенное распределение внутри отдельных типов проекций, что позволяет достичь режима «больше, но меньше», улучшающего качество на байт.
- 69% групп весов сжимаются до 1 бита, в то время как первый блок MLP сохраняет ~2.5 бита.
- Модель на 131M при среднем значении 1.82 бита превосходит модель FP16 на 55M на датасете TinyStories, занимая в 3.8 раза меньше места для хранения.
- VBQ в 3.9–8.4 раза эффективнее FP16 по метрикам качества на байт.
- Пользовательские слитые ядра деквантования и умножения ускоряют вывод, достигая ускорения до 4.7x при 9B параметров на чипах Apple silicon.
VBQ переосмысливает точность как обучаемый, неравномерный ресурс, демонстрируя, что неравномерное распределение фиксированного битового бюджета превосходит равномерное.