Semua artikel
media r/LocalLLaMA · 16 jam lalu

Bonsai-8B 1-bit dari PrismML mengalahkan IBM Granite pada pemanggilan alat CPU dengan tata bahasa

Sebuah benchmark model Bonsai-8B 1-bit dari PrismML melawan Granite dari IBM dan LLM lainnya mengungkapkan bahwa Bonsai-8B mencapai akurasi pemanggilan alat tertinggi saat menggunakan decoding yang dibatasi oleh tata bahasa. Uji ini, yang dilakukan pada CPU menggunakan llama.cpp, menyoroti peran kritis batasan output dalam memungkinkan model kuantisasi kecil berfungsi secara efektif untuk tugas agen.