用户使用RAG对本地模型进行基准测试，发现准确率显著提升

一位Reddit用户通过将本地大型语言模型与Node、Langchain.js和TypeScript等项目的文档进行基准测试，测试了它们在技术问题上的准确性。该实验比较了unsloth Gemma QAT模型、Apple Intelligence AFM 2 3B以及有和没有检索增强生成（RAG）的Qwen模型。

• 没有RAG时，本地模型在技术准确性方面表现不佳。
• 添加注入相关文档的RAG系统显著提高了分数，使模型变得“非常好”。
• 启用“思考”功能仅带来1%的边际提升，同时增加了延迟。
• Apple Intelligence AFM 2 3B尽管只有4k的有限上下文窗口，但仍取得了86%的得分。

结果表明，当通过RAG连接到知识库时，本地LLM对于技术查询非常有效，而独立性能则不足。