연구자들은 항목의 텍스트 임베딩에 정규화 회귀를 사용하여 심리측정 특성을 예측하는 평가 프레임워크를 제안하며, 항목 보정에서의 콜드 스타트 문제를 해결합니다. 이 연구는 수학 항목 은행(EEDI)과 의학 면허 시험 벤치마크(BEA 2024)에 이 방법을 적용하며, 성능의 상한선으로서 신뢰도와 설계 상한을 도입했습니다.
- 항목 난이도는 텍스트로부터 높은 예측 가능성을 보이며, 반복 교차 검증된 R 제곱은 0.53으로, 이는 신뢰도 상한의 약 57%에 해당합니다.
- 변별력과 의사 추측 매개변수는 덜 예측 가능한 것으로 보이지만, 이는 텍스트 신호 강도의 약함이 아니라 낮은 목표 신뢰도에 기인합니다.
- 텍스트는 난이도 목표 전반에 걸쳐 신뢰할 수 있는 분산의 57~63%를 일관되게 복원하며, 3PL 의사 추측 매개변수의 신뢰도 상한은 거의 0에 가깝습니다.
- BEA 벤치마크에서 임베딩 기반 회귀는 거의 분산을 설명하지 못함에도 불구하고 리더보드 RMSE와 일치하여, 스케일 프리 지표의 필요성을 강조합니다.
- 단일 훈련 및 테스트 분할은 R 제곱에서 0.1~0.15만큼 겉보기 정확도를 과대평가할 수 있으며, 이는 반복 교차 검증의 필요성을 부각시킵니다.
저자들은 이것이 텍스트 임베딩이 항목 난이도를 효과적으로 예측할 수 있음을 보여주며, 보정 지원 애플리케이션을 벤치마킹하기 위한 엄격한 프레임워크를 제공하므로 중요하다고 봅니다.