اختبر مستخدم على Reddit دقة نماذج اللغة الكبيرة المحلية على الأسئلة التقنية من خلال إجراء مقارنات مع وثائق مشاريع مثل Node وLangchain.js وTypeScript. قورنت في التجربة نماذج unsloth Gemma QAT وApple Intelligence AFM 2 3B ونماذج Qwen مع وبدون التوليد المعزز بالاسترجاع (RAG).
- بدون RAG، كانت أداء النماذج المحلية ضعيفاً من حيث الدقة التقنية.
- أدى إضافة نظام RAG الذي يُدخل وثائق ذات صلة إلى تحسين النتائج بشكل كبير، مما جعل النماذج "جيدة جداً".
- لم يوفر تفعيل قدرات "التفكير" سوى تحسن هامشي بنسبة 1% مع زيادة زمن الاستجابة.
- حقق Apple Intelligence AFM 2 3B نتيجة بنسبة 86% رغم نافذة السياق المحدودة البالغة 4k.
تشير النتائج إلى أن نماذج LLM المحلية فعالة للغاية للاستعلامات التقنية عند الاتصال بقاعدة معرفية عبر RAG، بينما تكون الأداء المستقل غير كافٍ.