В данном исследовании представлена первая систематическая мета-оценка рубрик, сгенерированных LLM, предназначенных для оценки открытых ответов в задачах воспроизведения научных статей. Авторы переформулируют рубрики в формат списка проверок и оценивают четыре настройки генерации на двух базовых моделях.
- Рубрики оцениваются интринсически через семантическое сходство и экстринсически через согласованность оценок с эталонными рубриками.
- Расширенные настройки генерации существенно улучшают согласованность последующей оценки, при этом наиболее сильная настройка приближается к человеческим базовым уровням.
- Отмечается, что интринсические улучшения от аугментации более скромны по сравнению с экстринсическими улучшениями.
- Дополнительный анализ показывает, что рубрики, сгенерированные LLM, склонны быть чрезмерно детализированными, иметь смещение в сторону высоких оценок и быть менее адаптивными к конкретным областям статей.
Результаты подчеркивают как возможности, так и ограничения использования LLM для масштабируемого построения бенчмарков, указывая на то, что, хотя расширенные настройки улучшают согласованность, значительные смещения сохраняются.