Los investigadores abordan el desafío de la puntuación automática de ensayos cuando los educadores revisan o introducen nuevas rúbricas, un escenario conocido como generalización cruzada de rúbricas. Proponen un marco de ajuste fino para Modelos de Lenguaje Grande que utiliza representaciones intermedias independientes de la rúbrica llamadas "rasgos" junto con la supervisión del ensayo objetivo durante el entrenamiento.
- El enfoque mejora el F1 macro en un 5.0% sobre una línea base sin rasgos en la configuración más difícil donde tanto las rúbricas objetivo como los ensayos son desconocidos durante el entrenamiento.
- Aumentar la supervisión del ensayo objetivo mejora aún más el rendimiento, permitiendo que el mejor modelo Llama de código abierto ajustado fino supere a GPT-5-mini por prompting en un 2.1% de F1 macro.
- El mismo modelo basado en Llama se queda solo un 1.9% atrás de GPT-5 en esta evaluación.
Estos resultados demuestran que incorporar una estructura intermedia basada en rasgos y supervisión controlada mejora eficazmente la generalización a rúbricas de puntuación previamente no vistas.