Eksperimen acak yang melibatkan lebih dari 1.000 mahasiswa Universitas Bocconi menemukan bahwa akses ke ChatGPT dan pelatihan dalam penalaran kausal meningkatkan pekerjaan siswa dengan cara yang berbeda namun saling melengkapi. Siswa yang menggunakan ChatGPT menghasilkan jawaban yang lebih berkualitas dan koheren, mirip dengan rekomendasi ahli, sementara mereka yang menerima pelatihan penalaran kausal menghasilkan beragam ide unik.
- Akses ke GPT-4o meningkatkan skor rubrik lima poin hampir satu poin penuh dan meningkatkan koherensi logis.
- Latihan penalaran kausal mendorong siswa untuk menjelaskan mengapa ide mungkin berhasil atau gagal, serta menghasilkan lebih banyak ide yang berbeda yang tidak tertangkap oleh penilaian standar.
- Siswa yang menerima kedua intervensi menunjukkan peningkatan di berbagai ukuran, menggabungkan output yang rapi dengan orisinalitas.
Hasil ini menunjukkan bahwa seiring AI memudahkan produksi jawaban yang rapi, penilaian pendidikan harus beradaptasi untuk mengukur kualitas lain seperti orisinalitas dan penalaran.