Pengujian pengguna kuantisasi Hy3 1-bit mempertahankan kualitas pada 89 GB

Seorang pengguna Reddit telah mengunggah versi terkuantisasi 1-bit dari model Hy3 ke Hugging Face, khususnya menggunakan format iq1m. Varian terkecil dari checkpoint ini berukuran sekitar 89 GB.

• Model tersedia sebagai AngelSlim/Hy3-GGUF di Hugging Face.
• Ini memanfaatkan kompresi iq1m untuk mencapai ukuran file 89 GB untuk ujung terkecil.
• Pengujian menunjukkan bahwa model yang terkuantisasi mempertahankan kualitas dan koherensi yang signifikan meskipun kompresinya berat.
• Contohnya termasuk menghasilkan simulator penerbangan HTML, SVG panda dan pelikan, serta gambar capybara.

Postingan tersebut menyoroti bahwa bahkan saat model menjadi lebih besar, kuantisasi 1-bit dapat mempertahankan kinerja yang dapat digunakan untuk inferensi lokal.