ユーザーがRAGでローカルモデルをベンチマーク、精度が大幅に向上

あるRedditユーザーは、Node、Langchain.js、TypeScriptなどのプロジェクトのドキュメントに対してベンチマークを行うことで、技術的な質問に対するローカル大規模言語モデルの精度をテストしました。この実験では、unsloth Gemma QATモデル、Apple Intelligence AFM 2 3B、およびRetrieval-Augmented Generation (RAG)ありとなしのQwenモデルが比較されました。

• RAGなしでは、ローカルモデルは技術的な精度で低いパフォーマンスを示した。
• 関連文書を挿入するRAGシステムを追加することでスコアが大幅に向上し、モデルを「非常に良い」ものにした。
• 「思考」機能を有効にすると、レイテンシーが増加する一方で1%のわずかな改善しか得られなかった。
• Apple Intelligence AFM 2 3Bは、限られた4kコンテキストウィンドウにもかかわらず86%のスコアを達成した。

これらの結果は、RAGを通じてナレッジベースに接続されている場合、ローカルLLMが技術的なクエリに対して非常に効果的であることを示している一方、スタンドアロンでのパフォーマンスは不十分であることを示しています。