एक नया मूल्यांकन ढांचा बड़े भाषा मॉडलों द्वारा उत्पन्न शोध विचारों और मानव शोधकर्ताओं द्वारा उत्पादित विचारों के बीच विचलन को मापता है। अध्ययन उच्च-गुणवत्ता वाले पेपर से पूर्व कार्य को रिवर्स-इंजीनियर करता है ताकि LLMs को प्रॉम्प्ट किया जा सके, फिर अवसर पैटर्न और शोध परिदृश्यों पर आधारित दो-अक्षीय शोध-स्वाद वर्गीकरण का उपयोग करके आउटपुट को प्रोफ़ाइल करता है।
- LLM द्वारा उत्पन्न विचार सेतु-जैसे अवसरों और संश्लेषण विधियों के चारों ओर असमानुपातिक रूप से केंद्रित हैं।
- मानव पेपर संदर्भ योगदान को ढांचे बनाने और निर्माण करने के तरीकों में अधिक व्यापक रूप से फैले हुए हैं।
- वितरण अंतर विभिन्न LLMs के बीच स्थिर है, जो मानवीय स्वाद के सापेक्ष एक व्यवस्थित बदलाव को संकेत करता है।
परिणाम सुझाव देते हैं कि जबकि मजबूत LLMs उचित विचार उत्पन्न कर सकते हैं, उनका दायरा मानव शोधकर्ताओं की तुलना में संकीर्ण ही रहता है।