Los investigadores presentan DigitalCoach, un conjunto de datos multimodal que comprende 72 sesiones de enseñanza de uso de computadoras entre expertos humanos y novatos, con 22.752 turnos de diálogo basados en 28,1 horas de grabaciones de pantalla y eventos de entrada en cinco aplicaciones de software.

  • La evaluación automática muestra que los modelos proporcionan instrucciones más directas pero menos explicaciones, diagnósticos de errores y preguntas de verificación de conocimientos en comparación con los humanos.
  • Cuando se fijan los métodos de enseñanza, las utterances de los modelos se asemejan a las referencias humanas pero permanecen poco fundamentadas en el contexto visual.
  • Las evaluaciones interactivas confirman que los entrenadores modelo hacen que los aprendices sigan pasivamente las instrucciones sin un compromiso más profundo.

El conjunto de datos sienta las bases para desarrollar agentes de enseñanza colaborativos y proactivos del uso de computadoras.