Para peneliti memperkenalkan DigitalCoach, sebuah dataset multimodal yang terdiri dari 72 sesi coaching penggunaan komputer antara ahli dan pemula manusia dengan 22.752 giliran dialog yang berakar pada 28,1 jam rekaman layar dan peristiwa input di lima aplikasi perangkat lunak.
- Evaluasi otomatis menunjukkan model memberikan instruksi lebih langsung tetapi kurang penjelasan, diagnosis kesalahan, dan pertanyaan pengecekan pengetahuan dibandingkan manusia.
- Ketika metode coaching ditetapkan, ucapan model menyerupai referensi manusia tetapi tetap kurang berakar pada konteks visual.
- Evaluasi interaktif mengonfirmasi bahwa coach model menyebabkan peserta belajar secara pasif mengikuti instruksi tanpa keterlibatan yang lebih dalam.
Dataset ini meletakkan dasar untuk mengembangkan agen coaching penggunaan komputer yang kolaboratif dan proaktif.