Тесты пользователей: 1-битное квантование Hy3 сохраняет качество при размере 89 ГБ

Пользователь Reddit выложил 1-битную квантованную версию модели Hy3 на Hugging Face, используя формат iq1m. Самый маленький вариант этого чекпоинта занимает около 89 ГБ.

• Модель доступна как AngelSlim/Hy3-GGUF на Hugging Face.
• Она использует сжатие iq1m для достижения размера файла 89 ГБ для самой маленькой версии.
• Тесты показывают, что квантованная модель сохраняет значительное качество и связность несмотря на сильное сжатие.
• Примеры включают генерацию HTML-симуляторов полета, SVG-изображений панд и пеликанов, а также изображений капибар.

В посте отмечается, что даже по мере роста моделей 1-битное квантование может поддерживать производительность, пригодную для локального вывода.