Les auteurs présentent FinResearchBench II, un pipeline évolutif pour générer des rubriques d'évaluation de haute qualité pour les agents de recherche approfondie financière sans nécessiter d'experts humains dans la boucle finale. Le benchmark est construit à partir de 104 requêtes utilisateur du monde réel et synthétise automatiquement 14,450 rubriques candidates à partir de rapports générés par le modèle.
- L'évaluation basée sur les LLM démontre un accord au niveau des étiquettes de 98,67 % avec les experts humains sur les éléments unanimement communs, validant son utilisation pour le dépistage à grande échelle.
- Les rubriques d'or dérivées du consensus sont obtenues en utilisant un filtre de cohérence strict et un filtre de distinguabilité, résultant en 2 600 rubriques finales.
- Le benchmark produit des classements clairement différenciés sur 10 systèmes de recherche approfondie, avec des taux de réussite au niveau des éléments allant de 58,58 % à 22,23 %.
Cette approche supprime l'exécution par des experts humains de la génération et de l'évaluation des rubriques, la rendant naturellement évolutive pour l'évaluation des benchmarks, la comparaison automatique des systèmes et les études futures sur l'amélioration des systèmes pilotée par l'évaluation.