연구자들은 5개의 소프트웨어 애플리케이션에 걸쳐 28.1시간의 화면 및 입력 이벤트 녹화를 기반으로 한 72건의 인간 전문가-초보자 컴퓨터 사용 코칭 세션과 22,752회의 대화 턴으로 구성된 멀티모달 데이터셋인 DigitalCoach를 소개합니다.
- 자동 평가 결과, 모델은 인간에 비해 더 직접적인 지시를 제공하지만 설명, 오류 진단 및 지식 확인 질문은 적었습니다.
- 코칭 방법을 고정했을 때, 모델의 발화는 인간의 참조와 유사하지만 시각적 문맥에 잘 기반하지 못했습니다.
- 상호작용 평가는 모델 코치가 학습자가 더 깊은 참여 없이 지시를 수동적으로 따르도록 만든다는 것을 확인했습니다.
이 데이터셋은 협력적이고 능동적인 컴퓨터 사용 코칭 에이전트 개발의 기초를 마련합니다.