1,000명 이상의 보코니 대학교 학생들을 대상으로 한 무작위 실험 결과, ChatGPT 접근성과 인과적 추론 훈련이 서로 다른 방식으로 학생들의 학습 성과를 향상시키며 상호 보완적인 효과를 보였다. ChatGPT를 사용한 학생들은 전문가의 권고와 유사한 고품질이고 더 일관된 답변을 생성했으며, 인과적 추론 훈련을 받은 학생들은 더 다양한 고유한 아이디어를 도출했다.
- GPT-4o에 대한 접근은 5점 척도 점수를 거의 한 점 가까이 향상시켰고 논리적 일관성을 높였다.
- 인과적 추론 연습은 학생들이 아이디어가 작동하거나 실패할 수 있는 이유를 설명하도록 유도했으며, 표준 채점 기준으로는 포착되지 않는 더 뚜렷한 아이디어를 생성했다.
- 두 가지 개입을 모두 받은 학생들은 다듬어진 출력과 독창성을 결합하여 가장 넓은 범위의 측정 항목에서 향상된 모습을 보였다.
이 결과는 AI가 다듬어진 답변을 생산하기 쉽게 만들면서 교육 평가가 독창성과 추론 같은 다른 품질을 측정하도록 적응해야 함을 시사한다.