Los investigadores desarrollaron SIMAX, un marco diseñado para generar datos de diálogo clínico controlados con anotaciones de comportamiento de referencia para abordar la escasez de datos de evaluación escalables para sistemas de codificación de comunicación impulsados por IA. El sistema crea interacciones simuladas entre médico y paciente a partir de escenarios predefinidos, perfiles y condiciones de voz, utilizando codebooks específicos para controlar la calidad general de la comunicación y las comportamientos contables.
- SIMAX generó 3,388 diálogos simulados en tres especialidades, múltiples etapas de visita, características del perfil y condiciones de acento.
- Las evaluaciones automatizadas arrojaron puntuaciones medias UTMOS y WV-MOS de 3.03 y 2.61, con tasas de error de palabras (WER) y tasas de error de caracteres (CER) de 0.07 y 0.05 respectivamente.
- Las evaluaciones humanas resultaron en una mediana MOS de 4.67 y una puntuación mediana de realismo clínico de 3.00.
- La evaluación downstream demostró la capacidad del marco para evaluar cómo los sistemas de codificación de comunicación responden a objetivos conductuales e identificar sensibilidad insuficiente en ciertas dimensiones.
SIMAX proporciona una base de datos reproducible para el desarrollo, validación y refinamiento de sistemas de codificación de comunicación al ofrecer diálogos simulados controlados y anotados.