Para penulis menyajikan FinResearchBench II, sebuah pipeline yang dapat diskalakan untuk menghasilkan rubrik evaluasi berkualitas tinggi untuk agen riset mendalam keuangan tanpa memerlukan pakar manusia dalam loop akhir. Benchmark ini dibangun dari 104 kueri pengguna dunia nyata dan secara otomatis mensintesis 14.450 kandidat rubrik dari laporan yang dihasilkan oleh model.
- Evaluasi berbasis LLM menunjukkan kesepakatan tingkat label sebesar 98,67% dengan pakar manusia pada item yang sepakat bersama, memvalidasi penggunaannya untuk penyaringan skala besar.
- Rubrik emas yang diturunkan dari konsensus diperoleh menggunakan filter konsistensi ketat dan filter daya bedakan, menghasilkan 2.600 rubrik akhir.
- Benchmark ini menghasilkan peringkat yang jelas berbeda di antara 10 sistem riset mendalam, dengan tingkat kelulusan tingkat item berkisar dari 58,58% hingga 22,23%.
Pendekatan ini menghilangkan eksekusi pakar manusia dari generasi dan evaluasi rubrik, menjadikannya secara alami dapat diskalakan untuk evaluasi benchmark, perbandingan sistem otomatis, dan studi masa depan tentang peningkatan sistem yang didorong oleh evaluasi.