Une étude évalue s'il est nécessaire d'utiliser des modèles de pointe pour vérifier les citations dans les systèmes de recherche approfondie, et constate que des juges moins chers restent compétitifs par rapport aux étiquettes de référence.

  • Les chercheurs ont évalué 8 juges LLM prêts à l'emploi issus de 3 familles de modèles sur un benchmark adversarial de longs textes comportant 1 248 décisions basées sur des rubriques.
  • GPT-5-mini a obtenu le meilleur F1 de classe de passage pour la pertinence de la source à 0,908, tandis que les scores de soutien factuel étaient statistiquement indistinguibles entre les modèles.
  • Les juges différaient considérablement en termes de dérive du taux de passage et de taux de faux positifs/négatifs, malgré des scores F1 scalaires comparables.

Les résultats indiquent que l'étalonnage du juge est une condition préalable à l'utilisation des rubriques de citation comme signaux de récompense, mais cet étalonnage ne nécessite pas le modèle le plus cher disponible.