Les chercheurs présentent DigitalCoach, un jeu de données multimodal composé de 72 sessions d'accompagnement humain entre experts et novices pour l'utilisation d'ordinateur, avec 22 752 tours de dialogue ancrés dans 28,1 heures d'enregistrements d'écran et d'événements d'entrée sur cinq applications logicielles.
- L'évaluation automatisée montre que les modèles fournissent des instructions plus directes mais moins d'explications, de diagnostics d'erreurs et de questions de vérification des connaissances par rapport aux humains.
- Lorsque les méthodes d'accompagnement sont fixes, les énoncés des modèles ressemblent aux références humaines mais restent mal ancrés dans le contexte visuel.
- Les évaluations interactives confirment que les coachs modèles amènent les apprenants à suivre passivement les instructions sans engagement plus profond.
Le jeu de données jette les bases du développement d'agents d'accompagnement pour l'utilisation d'ordinateur collaboratifs et proactifs.