2,053건의 실제 환자-챗봇 대화를 분석한 연구는 의사소통 패턴과 감정 표현이 사용자 간에 광범위하게 달라진다는 것을 보여주며, AI 개발에서 이상화된 시뮬레이션 환자에 대한 의존성에 의문을 제기합니다. 연구진은 임상 내용, 감정, 전략, 스타일을 모델링하는 시뮬레이터를 개발했으며, 튜링 영감을 받은 평가에서 실제 대화와 거의 구분할 수 없는 대화를 생성했습니다.
- 2,053건의 실제 대화 분석은 사용자 간 의사소통 패턴과 감정 표현의 상당한 변이를 보여줍니다.
- 새로운 환자 시뮬레이터는 임상 내용, 감정 상태, 대화 전략 및 의사소통 스타일을 별도로 모델링합니다.
- 15명의 인간 채점자를 사용한 튜링 영감을 받은 평가에서 시뮬레이션된 대화의 분류 정확도는 단 55%에 불과했습니다.
- 5가지 다른 환자 페르소나를 사용하여 임상 의사가 채점한 1,164건의 사례로 4개의 LLM을 테스트한 결과, 의사소통 스타일이 분류 결과를 크게 변경한다는 것이 발견되었습니다.
저자들은 환자 중심 대화형 AI가 현실 세계에서 배포될 때 성능이 저하되고 건강 격차를 증폭시키는 것을 피하기 위해 의사소통 다양성을 수용해야 한다고 주장합니다.