शोधकर्ताओं ने AI विकास में आदर्शकृत अनुकूलित रोगियों पर निर्भरता को चुनौती देने के लिए 2,053 वास्तविक रोगी-चैटबॉट बातचीतों का विश्लेषण किया ताकि यह प्रदर्शित किया जा सके कि संचार पैटर्न और भावनात्मक अभिव्यक्ति उपयोगकर्ताओं के बीच व्यापक रूप से भिन्न होती हैं। उन्होंने एक सिम्युलेटर विकसित किया जो क्लिनिकल सामग्री, भावना, रणनीति और शैली को मॉडल करता है, जिसने ट्यूरिंग-प्रेरित मूल्यांकन में वास्तविक बातचीतों से लगभग अविभेद्य संवाद उत्पन्न किए।
- टीम ने आपातकालीन मूल्यांकन में चार LLMs का मूल्यांकन करने के लिए 1,64 चिकित्सकों द्वारा रेट की गई मामलों में पांच अलग-अलग रोगी पर्सोना का उपयोग किया।
- विश्लेषण से पता चला कि संचार शैली त्रिआज परिणामों को महत्वपूर्ण रूप से बदल देती है।
- वास्तविक और अनुकूलित संवादों में अंतर करने में मानव रेटर्स ने केवल 55% सटीकता हासिल की।
लेखकों का तर्क है कि रोगी-केंद्रित संवादात्मक AI को संचार विविधता को समायोजित करना चाहिए, क्योंकि आदर्शकृत इंटरैक्शन के लिए डिज़ाइन किए गए सिस्टम वास्तविक दुनिया में तैनाती के दौरान खराब प्रदर्शन करने और स्वास्थ्य असमानताओं को बढ़ावा देने का जोखिम रखते हैं।