Para peneliti mengembangkan SIMAX, sebuah kerangka kerja yang dirancang untuk menghasilkan data dialog klinis yang terkontrol dengan anotasi perilaku referensi guna mengatasi kelangkaan data evaluasi yang dapat diskalakan untuk sistem pengodean komunikasi berbasis AI. Sistem ini menciptakan interaksi klinisi-pasien simulasi dari skenario yang telah ditentukan, persona, dan kondisi suara, memanfaatkan codebook spesifik untuk mengendalikan kualitas komunikasi secara keseluruhan dan perilaku yang dapat dihitung.
- SIMAX menghasilkan 3.388 dialog simulasi di tiga spesialisasi, berbagai tahap kunjungan, karakteristik persona, dan kondisi aksen.
- Penilaian otomatis menghasilkan skor UTMOS dan WV-MOS rata-rata sebesar 3,03 dan 2,61, dengan tingkat kesalahan kata (WER) dan tingkat kesalahan karakter (CER) masing-masing sebesar 0,07 dan 0,05.
- Penilaian manusia menghasilkan median MOS sebesar 4,67 dan skor realisme klinis median sebesar 3,00.
- Evaluasi hilir menunjukkan kemampuan kerangka kerja untuk menilai bagaimana sistem pengodean komunikasi merespons target perilaku dan mengidentifikasi sensitivitas yang tidak memadai dalam dimensi tertentu.
SIMAX menyediakan dasar data yang dapat direproduksi untuk mengembangkan, memvalidasi, dan menyempurnakan sistem pengodean komunikasi dengan menawarkan dialog simulasi yang terkontrol dan dianotasi.