Pesquisadores desenvolveram o SIMAX, uma estrutura projetada para gerar dados de diálogo clínico controlados com anotações comportamentais de referência, para abordar a escassez de dados de avaliação escaláveis para sistemas de codificação de comunicação orientados por IA. O sistema cria interações simuladas entre médico e paciente a partir de cenários predefinidos, personas e condições de voz, utilizando codebooks específicos para controlar a qualidade geral da comunicação e comportamentos contáveis.
- O SIMAX gerou 3.388 diálogos simulados em três especialidades, múltiplos estágios de visita, características de persona e condições de sotaque.
- Avaliações automatizadas produziram pontuações médias UTMOS e WV-MOS de 3,03 e 2,61, com taxas de erro de palavra (WER) e taxa de erro de caractere (CER) de 0,07 e 0,05, respectivamente.
- Avaliações humanas resultaram em MOS mediano de 4,67 e pontuação mediana de realismo clínico de 3,00.
- A avaliação a jusante demonstrou a capacidade da estrutura de avaliar como os sistemas de codificação de comunicação respondem a alvos comportamentais e identificar sensibilidade insuficiente em certas dimensões.
O SIMAX fornece uma base de dados reproduzível para desenvolver, validar e refinar sistemas de codificação de comunicação, oferecendo diálogos simulados controlados e anotados.