한 연구는 4개의 최첨단 대규모 언어 모델(GPT, Claude Opus, Gemini, GLM)이 컴퓨터 공학 2학년 학생들의 짧은 Linux/bash 명령어 응답을 채점할 때 전문가의 판단을 근사할 수 있는지 평가했습니다.

  • 이 연구는 3명의 전문가가 채점한 1200개의 실제 학생 응답에 걸쳐 정보 검색부터 고급 시스템 관리까지의 4단계 인지 분류법을 활용했습니다.
  • 루브릭 유도 프롬프팅을 사용한 Gemini 3.0 Pro가 가장 높은 인간-AI 일치도를 달성했으며, ICC(3,1)은 0.888, 평균 절대 오차(MAE)는 0.10이었습니다.
  • 분류 수준이 높아질수록 일치도가 감소했으며, 가장 큰 차이는 더 높은 복잡성 수준에서 발생했습니다.
  • 모든 모델에 걸쳐 루브릭의 질이 모델 제공자 선택보다 성능에 더 큰 영향을 미쳤으며, 구조화된 프롬프팅이 일관되게 일치도를 개선했습니다.

이 결과는 AI 지원 채점에 적합한 질문을 결정하기 위한 원칙적인 프레임워크를 확립하고 이전 가능한 평가 프로토콜 및 프롬프트 템플릿을 제공합니다.