"द वन-वर्ड सेन्सस" शीर्षक का एक अध्ययन 31 सिंगल-टर्न प्रॉम्प्ट्स के न्यूनतम उपकरण का उपयोग करके 44 बड़े भाषा मॉडलों में उत्तर-विकल्प अनुपालन का विश्लेषण करता है। शोध इस बात को चरित्रित करता है कि मॉडल कैसे विशेष उत्तरों पर अभिसरण करते हैं जब उन्हें समान रूप से वैध विकल्पों के बड़े स्थान से चुनने के लिए कहा जाता है, जैसे कि एक पेड़ का नाम लेना।
- "एक शब्द चुनें -- कोई भी शब्द" पूछे जाने पर, 44 मॉडलों ने 41% समय में "serendipity" चुना।
- कुछ श्रेणियों में अभिसरण अत्यधिक है, जहाँ 31 मामलों में से 7 में एक उत्तर सभी उत्तरों का 80% से अधिक ले गया।
- मॉडलों के बीच अनुपालन चार गुना से अधिक भिन्न होता है, जिसमें पर्सोना और समुदाय-ट्यूंड मॉडल सबसे विचलित हैं।
- नवीनतम मेनलाइन फ्लैगशिप्स सबसे अनुपालक हैं, जबकि रैंकिंग्स रोस्टर संरचना के लिए मजबूत बनी रहती हैं (leave-one-family-out rho = 0.985)।
- मानव श्रेणी-उत्पादन सामान्यताओं के साथ तुलना करने पर, क्षेत्र 20 साझा श्रेणियों में से 18 में लोगों की तुलना में अधिक केंद्रित है।
अध्ययन उत्तर-विकल्प surprisal द्वारा मॉडलों को स्कोर करने के लिए एक सार्वजनिक उपकरण और कोड प्रदान करता है, जो विभिन्न मॉडल वंशों में अनुपालन में संरचित भिन्नता को उजागर करता है।