Пользователь Reddit спрашивает, есть ли у моделей с 1-битным квантованием светлое будущее, приводя в пример Bonsai 8b размером 1gb, который работает корректно, и отмечая, что модель 27b была уменьшена до 5gb. В посте ищется консенсус относительно основных областей применения таких сильно сжатых моделей. Поднимается вопрос: остается ли 1-битное квантование несбыточной мечтой или жизнеспособным путем развития.
Обсуждение на Reddit о жизнеспособности и будущем моделей с 1-битным квантованием
Переведено с English → Русский