2,053件の実際の患者とチャットボットの会話を分析した研究により、コミュニケーションパターンや感情表現はユーザー間で大きく異なることが明らかになり、AI開発における理想化された模擬患者への依存に疑問を投げかけている。研究者らは、臨床内容、感情、戦略、スタイルをモデル化したシミュレーターを開発し、チューリングに触発された評価において、実際の会話とほとんど見分けがつかない会話を生成した。

  • 2,053件の実際の会話の分析により、ユーザー間でコミュニケーションパターンや感情表現に大きなばらつきがあることが示された。
  • 新しい患者シミュレーターは、臨床内容、感情状態、対話戦略、コミュニケーションスタイルを個別にモデル化する。
  • 15人の人間による採点者を用いたチューリングに触発された評価では、模擬会話の分類精度はわずか55%にとどまった。
  • 5つの異なる患者ペルソナを用いて1,164件の臨床医が採点した症例で4つのLLMをテストした結果、コミュニケーションスタイルがトリアージ結果に大きな影響を与えることがわかった。

著者らは、患者中心の対話型AIは、現実世界で展開された際にパフォーマンスが低下したり健康格差を増幅したりしないよう、コミュニケーションの多様性に対応する必要があると主張している。