연구자들은 AI 기반 통신 코딩 시스템의 확장 가능한 평가 데이터 부족 문제를 해결하기 위해 참조 행동 주석이 포함된 제어된 임상 대화 데이터를 생성하도록 설계된 프레임워크인 SIMAX를 개발했습니다. 이 시스템은 특정 코드북을 사용하여 전체 통신 품질과 계수 가능한 행동을 제어하며, 사전 정의된 시나리오, 페르소나 및 음성 조건에서 시뮬레이션된 임상 의사-환자 상호작용을 생성합니다.
- SIMAX는 세 가지 전문 분야, 여러 방문 단계, 페르소나 특성 및 억양 조건에 걸쳐 3,388개의 시뮬레이션 대화를 생성했습니다.
- 자동 평가 결과 UTMOS 및 WV-MOS 점수의 평균이 각각 3.03 및 2.61로 나왔으며, 단어 오류율(WER) 및 문자 오류율(CER)은 각각 0.07 및 0.05였습니다.
- 인간 평가 결과 MOS 중앙값은 4.67, 임상적 현실감 점수 중앙값은 3.00이었습니다.
- 다운스트림 평가는 프레임워크가 행동 목표에 대해 통신 코딩 시스템이 어떻게 반응하는지 평가하고 특정 차원에서 불충분한 민감도를 식별할 수 있는 능력을 보여주었습니다.
SIMAX는 제어되고 주석이 달린 시뮬레이션 대화를 제공하여 통신 코딩 시스템의 개발, 검증 및 정제를 위한 재현 가능한 데이터 기반을 제공합니다.