एक अध्ययन में बड़े भाषा मॉडल (LLM) ब्रांड अनुशंसाओं में गैर-निश्चितता को चार अलग-अलग स्रोतों में विघटित किया गया है: प्रॉम्प्ट के भीतर पुनः नमूनाकरण, प्रॉम्प्ट पराफ्रेज, मॉडल पहचान और प्रश्न भाषा। तीन मॉडलों और आठ भाषाओं में 12,933 उत्तरों पर क्रॉस्ड रैंडम-इफेक्ट्स विश्लेषण का उपयोग करते हुए, लेखकों ने प्रश्न भाषा को प्रसरण का सबसे बड़ा स्रोत 26.5% के रूप में पहचाना है, जबकि ब्रांड पहचान केवल 1.5% योगदान देती है।
- प्रश्न भाषा उत्तर प्रसरण का 26.5% व्याख्या करती है, जबकि ब्रांड पहचान केवल 1.5% योगदान देती है (ICC 0.0146)।
- शुद्ध पुनः नमूनाकरण प्रसरण का 34.8% हिस्सा लेता है, और संदर्भ में ब्रांड इंटरैक्शन 29.6% को व्याख्या करता है।
- ब्रांड-द्वारा-भाषा इंटरैक्शन प्रसरण का 8.6% हिस्सा लेते हैं, जो द्विभाषी दंड की ओर इशारा करते हैं।
- ब्रांड-द्वारा-मॉडल और ब्रांड-द्वारा-प्रॉम्प्ट इंटरैक्शन शून्य के करीब हैं।
- भाषाओं और मॉडलों को जोड़ना दोहराव की तुलना में सापेक्ष-त्रुटि प्रसरण को अधिक प्रभावी ढंग से कम करता है; पांचवां दोहराव त्रुटि को केवल 0.0003 तक कम करता है।
लेखक निष्कर्ष निकालते हैं कि ब्रांड-रैंकिंग विश्वसनीयता अभी भी कम है (एकल उत्तर के लिए 0.01 के करीब) और इसे प्रॉम्प्ट को दोहराने के बजाय भाषाओं और मॉडलों में मूल्यांकन फैलाकर सुधारने की आवश्यकता है।