Pengguna melakukan benchmarking model lokal dengan RAG, akurasi meningkat signifikan

Seorang pengguna Reddit menguji akurasi model bahasa besar lokal pada pertanyaan teknis dengan melakukan benchmarking terhadap dokumentasi proyek seperti Node, Langchain.js, dan TypeScript. Eksperimen ini membandingkan model unsloth Gemma QAT, Apple Intelligence AFM 2 3B, dan model Qwen dengan dan tanpa Retrieval-Augmented Generation (RAG).

• Tanpa RAG, model lokal menunjukkan kinerja buruk dalam akurasi teknis.
• Menambahkan sistem RAG yang menyuntikkan dokumen relevan secara signifikan meningkatkan skor, membuat model menjadi "sangat baik".
• Mengaktifkan kemampuan "berpikir" hanya memberikan peningkatan marginal sebesar 1% sambil meningkatkan latensi.
• Apple Intelligence AFM 2 3B mencapai skor 86% meskipun memiliki jendela konteks terbatas 4k.

Hasilnya menunjukkan bahwa LLM lokal sangat efektif untuk kueri teknis ketika terhubung ke basis pengetahuan melalui RAG, sedangkan kinerja mandiri tidak memadai.