Um estudo avalia se modelos de fronteira são necessários para verificar citações em sistemas de pesquisa profunda, encontrando que juízes mais baratos permanecem competitivos em comparação com rótulos de ouro.
- Pesquisadores pontuaram 8 juízes LLM prontos para uso de 3 famílias de modelos em um benchmark adversarial de texto longo com 1.248 decisões por rubrica.
- GPT-5-mini alcançou o F1 mais forte para a classe de aprovação de relevância da fonte em 0.908, enquanto as pontuações de suporte factual foram estatisticamente indistinguíveis entre os modelos.
- Os juízes diferiram substancialmente na deriva da taxa de aprovação e nas taxas de falso positivo/negativo apesar das pontuações F1 escalares comparáveis.
Os resultados indicam que calibrar o juiz é um pré-requisito para usar rubricas de citação como sinais de recompensa, mas essa calibração não requer o modelo mais caro disponível.