Um estudo avaliou se quatro grandes modelos de linguagem (GPT, Claude Opus, Gemini e GLM) podem aproximar o julgamento de especialistas ao corrigir respostas curtas de comandos Linux/bash de estudantes do segundo ano de Engenharia da Computação.
- A pesquisa utilizou uma taxonomia cognitiva de quatro níveis que abrange desde a recuperação de informações até o gerenciamento avançado do sistema em 1200 respostas reais de estudantes corrigidas por três especialistas.
- Gemini 3.0 Pro com prompting guiado por rubrica alcançou a maior concordância humano-IA, com um ICC(3,1) de 0,888 e um Erro Absoluto Médio (MAE) de 0,10.
- A concordância diminuiu à medida que o nível da taxonomia aumentava, com as maiores discrepâncias ocorrendo em níveis de maior complexidade.
- Em todos os modelos, a qualidade da rubrica teve um efeito maior no desempenho do que a escolha do provedor do modelo, e prompts estruturados melhoraram consistentemente a concordância.
Esses resultados estabelecem uma estrutura fundamentada para determinar quais questões são adequadas para correção assistida por IA e fornecem um protocolo de avaliação transferível e modelos de prompt.