PrismML merilis Bonsai 27B, LLM padat 1-bit yang berjalan di browser

Tim PrismML telah merilis Bonsai 27B, sebuah model bahasa besar yang dirancang untuk dijalankan secara lokal di peramban web menggunakan kernel WebGPU kustom. Model ini memanfaatkan kuantisasi 1-bit untuk secara signifikan mengurangi jejak memorinya sambil mempertahankan kinerja tinggi.

• Kuantisasi 1-bit mengecilkan ukuran model dari 54GB menjadi hanya 3,8GB, sebuah pengurangan sebesar 93%.
• Meskipun kompresi yang agresif, model tersebut mempertahankan 90% kecerdasan aslinya.
• Kumpulan checkpoint tersedia di Hugging Face di bawah organisasi PrismML.
• Demo interaktif yang memanfaatkan kernel WebGPU di-hosting di Hugging Face Spaces.

Rilis ini memungkinkan pengguna menjalankan model padat skala besar langsung di browser mereka tanpa memerlukan perangkat keras lokal kelas atas.