Semua artikel
media r/LocalLLaMA · 1 hari lalu

Bonsai-8B 1-bit dari PrismML mengalahkan IBM Granite pada pemanggilan alat CPU dengan tata bahasa

Sebuah benchmark model Bonsai-8B 1-bit dari PrismML melawan Granite dari IBM dan LLM lainnya mengungkapkan bahwa Bonsai-8B mencapai akurasi pemanggilan alat tertinggi saat menggunakan decoding yang dibatasi oleh tata bahasa. Uji ini, yang dilakukan pada CPU menggunakan llama.cpp, menyoroti peran kritis batasan output dalam memungkinkan model kuantisasi kecil berfungsi secara efektif untuk tugas agen.

media r/LocalLLaMA · 1 hari lalu

Apa yang ada di RAG Anda?

Seorang pengguna Reddit mempertanyakan utilitas praktis dari Retrieval-Augmented Generation (RAG) untuk proyek pribadi yang melibatkan pemrograman, pekerjaan sysadmin, dan basis kode kecil. Penulis berargumen bahwa pengetahuan industri standar sudah tercakup dengan baik oleh model, sementara sumber data spesifik seperti basis kode atau referensi API terlalu kecil sehingga tidak memerlukan pengindeksan atau terlalu besar untuk dikelola secara efisien.

media r/LocalLLaMA · 1 hari lalu

Trik murah untuk output terstruktur yang andal: umpankan kembali kesalahan validasi ke dalam percobaan ulang

Untuk meningkatkan keandalan saat menghasilkan output terstruktur dari model bahasa besar, sebuah metode diusulkan yang mengembalikan kesalahan validasi dan output sebelumnya dari model ke dalam prompt selama percobaan ulang. Pendekatan ini mengubah proses dari pengacakan respons acak menjadi koreksi diri atas kesalahan spesifik dengan mengedit upaya sebelumnya.