Los autores presentan FinResearchBench II, una canalización escalable para generar rúbricas de evaluación de alta calidad para agentes de investigación financiera profunda sin requerir expertos humanos en el bucle final. El benchmark se construye a partir de 104 consultas reales de usuarios y sintetiza automáticamente 14,450 rúbricas candidatas a partir de informes generados por modelos.
- La evaluación basada en LLM demuestra un acuerdo del 98,67% a nivel de etiquetas con expertos humanos en elementos de consenso unánime, validando su uso para el cribado a gran escala.
- Las rúbricas doradas derivadas de consenso se obtienen mediante un filtro de consistencia estricto y un filtro de distinguibilidad, resultando en 2,600 rúbricas finales.
- El benchmark produce clasificaciones claramente diferenciadas entre 10 sistemas de investigación profunda, con tasas de aprobación a nivel de elemento que oscilan entre el 58,58% y el 22,23%.
Este enfoque elimina la ejecución por expertos humanos en la generación y evaluación de rúbricas, haciéndolo naturalmente escalable para la evaluación de benchmarks, la comparación automática de sistemas y estudios futuros de mejora de sistemas impulsada por la evaluación.