研究者らは、2,053件の実際の患者とチャットボットの会話を分析し、ユーザー間でコミュニケーションパターンや感情表現が大きく異なることを示し、AI開発における理想化された模擬患者への依存に疑問を投げかけた。彼らは臨床内容、感情、戦略、スタイルをモデル化したシミュレーターを開発し、チューリングにインスパイアされた評価において、本物の会話とほとんど見分けがつかない会話を生成した。

  • チームは1,64件の臨床医による採点ケースで5つの異なる患者ペルソナを使用し、4つのLLMの緊急性評価を評価した。
  • 分析の結果、コミュニケーションスタイルがトリアージ結果に大きな影響を与えることが明らかになった。
  • 人間の採点者は模擬会話と本物の会話を区別する精度がわずか55%にとどまった。

著者らは、患者中心の会話型AIはコミュニケーションの多様性に配慮すべきであり、理想化された相互作用のために設計されたシステムは実世界での展開においてパフォーマンスが低下し、健康格差を増幅させるリスクがあると主張している。