Um experimento aleatório com mais de 1.000 estudantes da Universidade Bocconi descobriu que o acesso ao ChatGPT e o treinamento em raciocínio causal melhoram o trabalho dos alunos de maneiras distintas e complementares. Os estudantes que usaram o ChatGPT produziram respostas de maior qualidade e mais coerentes, semelhantes às recomendações de especialistas, enquanto aqueles que receberam treinamento em raciocínio causal geraram uma variedade mais ampla de ideias originais.
- O acesso ao GPT-4o melhorou as pontuações na rubrica de cinco pontos em quase um ponto inteiro e aumentou a coerência lógica.
- Exercícios de raciocínio causal levaram os estudantes a explicar por que as ideias podem funcionar ou falhar, produzindo ideias mais distintas não capturadas pela avaliação padrão.
- Os estudantes que receberam ambas as intervenções apresentaram ganhos na maior variedade de medidas, combinando saída refinada com originalidade.
Os resultados sugerem que, à medida que a IA facilita a produção de respostas polidas, as avaliações educacionais devem se adaptar para medir outras qualidades, como originalidade e raciocínio.