연구자들은 교육자가 루브릭을 수정하거나 새로 도입할 때 발생하는 자동 에세이 채점의 과제, 즉 크로스 루브릭 일반화라는 시나리오에 대응합니다. 그들은 훈련 중 타겟 에세이 감독과 함께 '특성(traits)'이라는 루브릭 비종속 중간 표현을 활용하는 대규모 언어 모델용 파인튜닝 프레임워크를 제안합니다.
- 특성 없는 기준선 대비 가장 어려운 설정(훈련 중 타겟 루브릭과 에세이가 모두 미출현)에서 매크로 F1이 5.0% 향상되었습니다.
- 타겟 에세이 감독을 증가시키면 성능이 더욱 향상되어, 최상의 파인튜닝된 오픈소스 Llama 기반 모델이 GPT-5-mini 프롬프팅보다 매크로 F1에서 2.1% 앞섭니다.
- 동일한 Llama 기반 모델은 이 평가에서 GPT-5에 불과 1.9% 뒤집니다.
이 결과는 특성 기반 중간 구조와 통제된 감독을 통합하는 것이 이전에 미출현했던 채점 루브릭으로의 일반화를 효과적으로 개선함을 보여줍니다.