Este estudio presenta la primera metaevaluación sistemática de rúbricas generadas por LLM diseñadas para evaluar salidas de respuesta abierta en tareas de reproducción de artículos. Los autores reformulan las rúbricas en un formato tipo lista de verificación y evalúan cuatro configuraciones de generación en dos modelos base.
- Las rúbricas se evalúan intrínsecamente mediante similitud semántica y extrínsecamente a través de la alineación de puntuaciones con las rúbricas de referencia.
- Las configuraciones de generación aumentadas mejoran sustancialmente la alineación de la evaluación posterior, con la configuración más fuerte acercándose a las bases humanas.
- Se observa que las ganancias intrínsecas de la augmentación son más modestas en comparación con las mejoras extrínsecas.
- Un análisis adicional revela que las rúbricas generadas por LLM tienden a ser excesivamente detalladas, estar sesgadas hacia puntuaciones altas y ser menos adaptables a dominios específicos de artículos.
Los hallazgos destacan tanto las ventajas como las limitaciones del uso de LLM para la construcción escalable de benchmarks, indicando que aunque las configuraciones aumentadas mejoran la alineación, persisten sesgos significativos.