Este estudo apresenta a primeira meta-avaliação sistemática de rubricas geradas por LLM projetadas para avaliar saídas de resposta aberta em tarefas de reprodução de artigos. Os autores reformulam as rubricas em um formato de lista de verificação e avaliam quatro configurações de geração em dois modelos base.
- As rubricas são avaliadas intrinsicamente por similaridade semântica e extrinsecamente por alinhamento de pontuação com as rubricas de referência.
- Configurações de geração aumentadas melhoram substancialmente o alinhamento da avaliação downstream, com a configuração mais forte aproximando-se das bases humanas.
- Ganhos intrínsecos da augmentação são notados como sendo mais modestos em comparação às melhorias extrínsecas.
- Análise adicional revela que as rubricas geradas por LLM tendem a ser excessivamente detalhadas, enviesadas para pontuações altas e menos adaptáveis a domínios específicos de artigos.
Os achados destacam tanto as vantagens quanto as limitações do uso de LLMs para construção escalável de benchmarks, indicando que, embora configurações aumentadas melhorem o alinhamento, vieses significativos permanecem.