एक Reddit उपयोगकर्ता ने Node, Langchain.js और TypeScript जैसे प्रोजेक्ट्स के दस्तावेज़ों के खिलाफ उन्हें बेंचमार्किंग करके तकनीकी प्रश्नों पर स्थानीय बड़े भाषा मॉडल (LLM) की सटीकता का परीक्षण किया। इस प्रयोग ने unsloth Gemma QAT मॉडल, Apple Intelligence AFM 2 3B और Retrieval-Augmented Generation (RAG) के साथ और बिना RAG वाले Qwen मॉडल की तुलना की।
- RAG के बिना, स्थानीय मॉडल तकनीकी सटीकता पर खराब प्रदर्शन करते हैं।
- प्रासंगिक दस्तावेज़ों को इंजेक्ट करने वाला एक RAG सिस्टम जोड़ने से स्कोर में काफी सुधार हुआ, जिससे मॉडल "बहुत अच्छे" हो गए।
- "विचार करने" की क्षमताओं को सक्षम करने से केवल 1% का नगण्य सुधार मिला जबकि लेटेंसी बढ़ गई।
- Apple Intelligence AFM 2 3B ने सीमित 4k संदर्भ विंडो के बावजूद 86% स्कोर हासिल किया।
परिणाम इंगित करते हैं कि RAG के माध्यम से ज्ञान आधार से जुड़े होने पर स्थानीय LLM तकनीकी प्रश्नों के लिए अत्यधिक प्रभावी होते हैं, जबकि स्वतंत्र प्रदर्शन अपर्याप्त है।