يقدم المؤلفون FinResearchBench II، وهو خط أنابيب قابل للتوسع لتوليد معايير تقييم عالية الجودة لوكلاء البحث العميق المالي دون الحاجة إلى خبراء بشريين في الحلقة النهائية. تم بناء المعيار من 104 استفسارًا للمستخدمين في العالم الحقيقي ويولد تلقائيًا 14,450 معيارًا مرشحًا من التقارير المُولَّدة بواسطة النموذج.
- يُظهر التقييم القائم على نماذج اللغات الكبيرة (LLM) توافقًا على مستوى التسميات بنسبة 98.67% مع الخبراء البشريين في العناصر المتفق عليها بشكل جماعي، مما يثبت صحتها للاستخدام في الفحص واسع النطاق.
- تم اشتقاق المعايير الذهبية المستمدة من الإجماع باستخدام مرشح اتساق صارم ومرشح قابلية التمييز، مما أسفر عن 2,600 معيار نهائي.
- ينتج المعيار تصنيفات متميزة بوضوح عبر 10 أنظمة للبحث العميق، مع معدلات نجاح على مستوى العناصر تتراوح بين 58.58% و 22.23%.
تزيل هذه النهج التنفيذ البشري الخبير من توليد المعايير وتقييمها، مما يجعلها قابلة للتوسع بشكل طبيعي لتقييم المعايير، ومقارنة الأنظمة تلقائيًا، والدراسات المستقبلية حول تحسين الأنظمة المدفوعة بالتقييم.