ボッコニ大学の学生1,000人以上を対象とした無作為化実験により、ChatGPTへのアクセスと因果推論のトレーニングが、それぞれ独立かつ補完的な方法で学生の成果を向上させることが明らかになった。ChatGPTを利用した学生は、専門家の推奨に似た高品質で整合性の高い回答を作成し、因果推論のトレーニングを受けた学生は、より多様な独自のアイデアを生み出した。

  • GPT-4oへのアクセスにより、5段階評価基準のスコアがほぼ1ポイント向上し、論理的な整合性が高まった。
  • 因果推論の演習により、学生はアイデアが成功する可能性または失敗する理由を説明するようになり、標準的な採点では捉えきれないより明確なアイデアが生み出された。
  • 両方の介入を受けた学生は、洗練された出力と独自性を組み合わせることで、最も広範な測定項目において向上を示した。

これらの結果は、AIが洗練された回答の生成を容易にするにつれ、教育評価は独自性や推論力といった他の性質を測定するために適応しなければならないことを示唆している。