Авторы представляют FinResearchBench II, масштабируемый конвейер для генерации высококачественных оценочных рубрик для агентов глубокого финансового анализа без необходимости участия экспертов-людей в конечном контуре. Бенчмарк создан на основе 104 реальных пользовательских запросов и автоматически синтезирует 14,450 кандидатов в рубрики из отчетов, сгенерированных моделями.
- Оценка на основе LLM демонстрирует 98,67% согласования на уровне меток с экспертами-людьми по совместно единогласным элементам, что подтверждает ее пригодность для масштабной фильтрации.
- Золотые рубрики, полученные консенсусом, выводятся с использованием строгого фильтра согласованности и фильтра различимости, в результате чего формируется 2,600 финальных рубрик.
- Бенчмарк дает четко дифференцированные рейтинги среди 10 систем глубокого анализа, при этом уровень прохождения на уровне элементов варьируется от 58,58% до 22,23%.
Этот подход исключает выполнение экспертами-людьми этапов генерации и оценки рубрик, что делает его естественно масштабируемым для оценки бенчмарков, автоматического сравнения систем и будущих исследований улучшения систем на основе оценки.