PrismML merilis Bonsai 27B, mengompresi Qwen3.6-27B ke bobot 1-bit dan ternary

PrismML telah merilis Bonsai 27B, sebuah kuantisasi bit-rendah dari model Qwen3.6-27B yang memungkinkan menjalankan model multimodal besar di laptop dan ponsel tanpa pelatihan ulang.

• Ternary Bonsai 27B menggunakan bobot ternary pada 1,71 bit per bobot dengan ukuran 5,9GB, mempertahankan akurasi baseline FP16 sebesar 94,6%.
• 1-bit Bonsai 27B menggunakan bobot biner pada 1,125 bit per bobot dengan ukuran 3,9GB, mempertahankan akurasi baseline FP16 sebesar 89,5%.
• Arsitekturnya tetap tidak berubah dari Qwen3.6-27B, hanya parameter normalisasi dan skala yang disimpan dalam presisi lebih tinggi.
• Kedua varian mendukung jendela konteks token 262K dan tersedia di bawah lisensi Apache 2.0 untuk llama.cpp dan MLX.

Rilis ini mengatasi kendala memori pada perangkat tepi, memungkinkan penyajian single-GPU pada kartu 24GB dan inferensi lokal pada perangkat seluler sambil mempertahankan kinerja praktis.