Исследование оценивает, необходимы ли передовые модели для проверки ссылок в системах глубокого поиска, и обнаруживает, что более дешёвые судьи остаются конкурентоспособными по сравнению с эталонными метками.
- Исследователи оценили 8 готовых LLM-судей из 3 семейств моделей на состязательном бенчмарке длинных текстов с 1248 решениями по рубрикам.
- GPT-5-mini достигла наилучшего F1 для класса прохода релевантности источника на уровне 0.908, в то время как оценки фактической поддержки статистически неотличимы между моделями.
- Судьи существенно различались по дрейфу доли успешных проверок и уровням ложноположительных/ложноотрицательных результатов, несмотря на сопоставимые скалярные F1.
Результаты показывают, что калибровка судьи является обязательным условием для использования цитатных рубрик в качестве сигналов вознаграждения, но эта калибровка не требует самой дорогой доступной модели.