Les chercheurs ont développé SIMAX, un cadre conçu pour générer des données de dialogue clinique contrôlées avec des annotations comportementales de référence afin de pallier la rareté des données d'évaluation évolutives pour les systèmes de codage de la communication basés sur l'IA. Le système crée des interactions simulées clinicien-patient à partir de scénarios prédéfinis, de personae et de conditions vocales, en utilisant des codebooks spécifiques pour contrôler la qualité globale de la communication et les comportements dénombrables.
- SIMAX a généré 3 388 dialogues simulés dans trois spécialités, plusieurs étapes de visite, caractéristiques de persona et conditions d'accentuation.
- Les évaluations automatisées ont donné des scores moyens UTMOS et WV-MOS de 3,03 et 2,61, avec des taux d'erreur de mots (WER) et de caractères (CER) respectivement de 0,07 et 0,05.
- Les évaluations humaines ont abouti à une médiane MOS de 4,67 et à un score médian de réalisme clinique de 3,00.
- L'évaluation en aval a démontré la capacité du cadre à évaluer comment les systèmes de codage de la communication répondent aux cibles comportementales et à identifier une sensibilité insuffisante dans certaines dimensions.
SIMAX fournit une base de données reproductible pour le développement, la validation et l'affinement des systèmes de codage de la communication en offrant des dialogues simulés contrôlés et annotés.