Os autores apresentam o FinResearchBench II, um pipeline escalável para gerar rubricas de avaliação de alta qualidade para agentes de pesquisa financeira profunda sem exigir especialistas humanos no loop final. O benchmark é construído a partir de 104 consultas reais de usuários e sintetiza automaticamente 14.450 rubricas candidatas a partir de relatórios gerados por modelos.
- A avaliação baseada em LLM demonstra concordância de nível de rótulo de 98,67% com especialistas humanos em itens unanimemente consensuais, validando seu uso para triagem em larga escala.
- As rubricas douradas derivadas de consenso são obtidas usando um filtro de consistência rigoroso e um filtro de distinguibilidade, resultando em 2.600 rubricas finais.
- O benchmark produz classificações claramente diferenciadas entre 10 sistemas de pesquisa profunda, com taxas de aprovação em nível de item variando de 58,58% a 22,23%.
Esta abordagem remove a execução por especialistas humanos da geração e avaliação de rubricas, tornando-a naturalmente escalável para avaliação de benchmarks, comparação automática de sistemas e estudos futuros de melhoria de sistemas orientada por avaliação.