연구원들은 2,053건의 실제 환자-챗봇 대화를 분석하여 의사소통 패턴과 감정 표현이 사용자 간에 크게 다양하다는 것을 입증했으며, 이는 AI 개발에서 이상화된 시뮬레이션 환자에 대한 의존성에 의문을 제기합니다. 그들은 임상 내용, 감정, 전략 및 스타일을 모델링하는 시뮬레이터를 개발했으며, 튜링 영감 평가에서 실제 대화와 거의 구별할 수 없는 대화를 생성했습니다.
- 팀은 1,64건의 임상 의사 등급 사례에 걸쳐 5가지의 서로 다른 환자 페르소나를 사용하여 4개의 LLM의 긴급성 평가를 평가했습니다.
- 분석 결과, 의사소통 스타일이 분류 결과에 상당한 영향을 미치는 것으로 나타났습니다.
- 인간 채점자는 시뮬레이션된 대화와 실제 대화를 구분하는 데 있어 정확도가 55%에 불과했습니다.
저자들은 환자 중심의 대화형 AI는 의사소통 다양성을 수용해야 한다고 주장하며, 이상화된 상호작용을 위해 설계된 시스템은 실제 세계 배포에서 성능이 저하되고 건강 격차를 증폭시킬 위험이 있다고 주장합니다.