Исследователи представляют DigitalCoach, мультимодальный набор данных, включающий 72 сеанса обучения использованию компьютера экспертами и новичками с участием людей, содержащие 22 752 диалоговых оборота, основанных на 28,1 часах записей экрана и событий ввода в пяти программных приложениях.

  • Автоматическая оценка показывает, что модели дают более прямые инструкции, но меньше объяснений, диагнозов ошибок и вопросов для проверки знаний по сравнению с людьми.
  • При фиксированных методах обучения высказывания моделей напоминают человеческие референсы, но остаются слабо привязанными к визуальному контексту.
  • Интерактивные оценки подтверждают, что модели-тренеры заставляют обучающихся пассивно следовать инструкциям без более глубокого вовлечения.

Набор данных закладывает основу для разработки совместных и проактивных агентов обучения использованию компьютера.