PrismML merilis Bonsai 27B, model ternary Qwen3.6 yang berjalan di memori 10GB

PrismML telah merilis Bonsai 27B, sebuah model baru yang menerapkan metodologi Ternary/BitNet pada Qwen3.6 27B. Pendekatan ini memungkinkan model berjalan dengan presisi mendekati fp16 sambil hanya mengonsumsi sekitar 10GB memori pada chip M4 Pro.

• Model ini menggunakan format GGUF ternary, memerlukan fork llama.cpp tertentu untuk inferensi.
• Mendukung jendela konteks 256K dan kemampuan input multimodal.
• Benchmark menunjukkan kinerja yang unggul dibandingkan kuantisasi tradisional 2-3bit dari Qwen3.6 27B.
• Rilis ini mencakup fork MLX alongside implementasi GGUF utama.

Rilis ini membuat menjalankan model 27B berkegunaan tinggi di perangkat menjadi praktis untuk laptop dan desktop dengan VRAM terbatas, mengatasi kendala sebelumnya pada pelokalan deployment.