Исследователи разработали SIMAX — платформу, предназначенную для генерации контролируемых клинических диалоговых данных с референсными поведенческими аннотациями в целях решения проблемы нехватки масштабируемых оценочных данных для систем кодирования коммуникации на базе ИИ. Система создает симулированные взаимодействия врача и пациента на основе заранее определенных сценариев, персонажей и условий голоса, используя специфические кодовые книги для контроля общего качества коммуникации и подсчитываемых поведенческих паттернов.
- SIMAX сгенерировал 3388 симулированных диалогов по трем специальностям, нескольким этапам визитов, характеристикам персонажей и условиям акцента.
- Автоматические оценки дали средние баллы UTMOS и WV-MOS равные 3.03 и 2.61 соответственно, а уровни ошибок слов (WER) и символов (CER) составили 0.07 и 0.05.
- Человеческие оценки дали медианный балл MOS 4.67 и медианный балл клинической реалистичности 3.00.
- Оценка на последующих этапах продемонстрировала способность платформы оценивать, как системы кодирования коммуникации реагируют на поведенческие цели, и выявлять недостаточную чувствительность в некоторых измерениях.
SIMAX предоставляет воспроизводимую основу данных для разработки, валидации и уточнения систем кодирования коммуникации за счет предоставления контролируемых и аннотированных симулированных диалогов.