Pesquisadores abordam o desafio da pontuação automática de ensaios quando educadores revisam ou introduzem novas rúbricas, um cenário conhecido como generalização cruzada de rúbricas. Eles propõem um framework de ajuste fino para Grandes Modelos de Linguagem que utiliza representações intermediárias independentes da rúbrica chamadas "traços" juntamente com a supervisão do ensário-alvo durante o treinamento.
- A abordagem melhora o F1 macro em 5,0% em relação a uma linha de base sem traços no cenário mais difícil onde tanto as rúbricas-alvo quanto os ensaios são desconhecidos durante o treinamento.
- Aumentar a supervisão do ensaio-alvo aprimora ainda mais o desempenho, permitindo que o melhor modelo Llama de código aberto ajustado fino supere o GPT-5-mini por prompting em 2,1% de F1 macro.
- O mesmo modelo baseado em Llama fica apenas 1,9% atrás do GPT-5 nesta avaliação.
Esses resultados demonstram que incorporar estrutura intermediária baseada em traços e supervisão controlada melhora eficazmente a generalização para rúbricas de pontuação previamente não vistas.