Un estudio evaluó si cuatro grandes modelos de lenguaje (GPT, Claude Opus, Gemini y GLM) pueden aproximar el juicio experto al calificar respuestas cortas de comandos Linux/bash de estudiantes de segundo año de Ingeniería Informática.
- La investigación utilizó una taxonomía cognitiva de cuatro niveles que abarca desde la recuperación de información hasta la gestión avanzada del sistema en 1200 respuestas reales de estudiantes calificadas por tres expertos.
- Gemini 3.0 Pro con prompting guiado por rúbrica logró el mayor acuerdo humano-IA, con un ICC(3,1) de 0.888 y un Error Absoluto Medio (MAE) de 0.10.
- El acuerdo disminuyó a medida que aumentaba el nivel de la taxonomía, con las mayores discrepancias ocurriendo en niveles de mayor complejidad.
- En todos los modelos, la calidad de la rúbrica tuvo un efecto mayor en el rendimiento que la elección del proveedor del modelo, y los prompts estructurados mejoraron consistentemente el acuerdo.
Estos resultados establecen un marco fundamentado para determinar qué preguntas son adecuadas para la calificación asistida por IA y proporcionan un protocolo de evaluación transferible y plantillas de prompts.