Исследование, проанализировавшее 2 053 реальных разговора пациента с чат-ботом, показало, что паттерны общения и эмоциональная экспрессия сильно различаются среди пользователей, что ставит под сомнение опору на идеализированных симулированных пациентов в разработке ИИ. Исследователи разработали симулятор, моделирующий клиническое содержание, эмоции, стратегию и стиль, который в оценке по типу теста Тьюринга генерировал разговоры, практически неотличимые от реальных.
- Анализ 2 053 реальных разговоров выявил значительные различия в паттернах общения и эмоциональной экспрессии между пользователями.
- Новый симулятор пациента отдельно моделирует клиническое содержание, эмоциональное состояние, стратегию беседы и стиль общения.
- В оценке по типу теста Тьюринга с участием 15 человеческих экспертов точность классификации симулированных разговоров составила всего 55%.
- Тестирование четырех LLM на 1 164 случаях, оцененных врачами, с использованием пяти различных пациентских персон показало, что стиль общения существенно влияет на результаты триажа.
Авторы утверждают, что диалоговый ИИ, ориентированный на пациента, должен учитывать разнообразие стилей общения, чтобы избежать снижения эффективности и усиления неравенства в здравоохранении при развертывании в реальном мире.