تُظهر معايرة قاعدة بيانات الرعاية الصحية الاصطناعية أن تحسين تمثيل البيانات، مثل استخدام مستندات rollup والبحث Small-to-Big، يتفوق بشكل كبير على ترقيات RAG القياسية مثل إعادة كتابة الاستعلام وإعادة الترتيب (reranking).
- قام المؤلف بإنشاء مجموعة تقييم مكونة من 30 سؤالاً بناءً على مرضى وأطباء وسجلات فواتير وهمية لاختبار تقنيات RAG المختلفة.
- حقق البحث المتجهي الأساسي درجة إجابة تبلغ 2.856/5، بينما أدى إضافة إعادة كتابة الاستعلام وإعادة الترتيب BGE إلى رفعها فقط إلى 3.056/5.
- حسّن البحث Small-to-Big (البحث في أجزاء صغيرة ثم التوسع إلى السجلات الكاملة) الدرجة إلى 4.044/5 من خلال توفير مطابقة دقيقة دون جوع للسياق.
- أدى إضافة مستندات rollup المحسوبة مسبقاً للمجموعات مثل أحمال المواعيد وإجماليات الفواتير إلى رفع درجة الإجابة إلى 4.622/5 ودرجة الأسئلة الصعبة إلى 4.500/5.
- حقق تشغيل Jina reranker النهائي أعلى معدل متوسط للترتيب الدقيق (MRR) للاسترجاع عند 0.792، لكن إعداد rollup قدم أفضل جودة إجابة عامة.
تشير النتائج إلى أن جودة RAG هي غالباً مشكلة تمثيل بيانات بدلاً من مشكلة نموذج، مما يؤكد الحاجة إلى مواءمة بنية المستند مع أنواع الاستعلامات مثل عمليات البحث على مستوى الكيان أو الحسابات المجمعة.