Исследователи проанализировали 2053 реальных разговора между пациентом и чат-ботом, чтобы продемонстрировать, что паттерны общения и эмоциональная экспрессия сильно варьируются среди пользователей, ставя под сомнение опору на идеализированных симулированных пациентов в разработке ИИ. Они разработали симулятор, моделирующий клинический контент, эмоции, стратегию и стиль, который генерировал разговоры, практически неотличимые от реальных в оценке по типу теста Тьюринга.
- Команда использовала пять различных пациентских персон на 164 случаях, оцененных клиницистами, для оценки четырех LLM в задаче определения срочности.
- Анализ показал, что стиль общения существенно влияет на результаты триажа.
- Человеческие эксперты достигли лишь 55% точности в различении симулированных и реальных разговоров.
Авторы утверждают, что пациентоцентричный диалоговый ИИ должен учитывать разнообразие коммуникации, поскольку системы, спроектированные для идеализированного взаимодействия, рискуют показывать низкую эффективность и усиливать неравенство в здравоохранении при реальном развертывании.