Une expérience randomisée menée auprès de plus de 1 000 étudiants de l'Université Bocconi a montré que l'accès à ChatGPT et la formation au raisonnement causal améliorent le travail des étudiants de manière distincte et complémentaire. Les étudiants utilisant ChatGPT ont produit des réponses de meilleure qualité, plus cohérentes, similaires aux recommandations d'experts, tandis que ceux ayant reçu une formation au raisonnement causal ont généré une plus grande variété d'idées originales.
- L'accès à GPT-4o a amélioré les scores sur une grille d'évaluation à cinq points de près d'un point entier et a accru la cohérence logique.
- Les exercices de raisonnement causal ont conduit les étudiants à expliquer pourquoi des idées pourraient fonctionner ou échouer, produisant ainsi des idées plus distinctes non capturées par l'évaluation standard.
- Les étudiants ayant reçu les deux interventions ont montré des progrès sur le plus large éventail de mesures, combinant une production soignée avec de l'originalité.
Les résultats suggèrent qu'à mesure que l'IA facilite la production de réponses soignées, les évaluations éducatives doivent s'adapter pour mesurer d'autres qualités comme l'originalité et le raisonnement.