تقوم دراسة بتحليل عدم الحتمية في توصيات العلامات التجارية لنماذج اللغات الكبيرة (LLM) إلى أربعة مصادر قابلة للفصل: إعادة أخذ العينات داخل الاستعلام، وصياغة الاستعلام من جديد، وهوية النموذج، ولغة الاستعلام. باستخدام تحليل التأثيرات العشوائية المتقاطعة على 12,933 استجابة عبر ثلاثة نماذج وثمان لغات، حدد المؤلفون أن لغة الاستعلام هي أكبر مصدر للتباين بنسبة 26.5%، بينما تساهم هوية العلامة التجارية بنسبة 1.5% فقط.
- تفسر لغة الاستعلام 26.5% من تباين الإجابات، في حين تساهم هوية العلامة التجارية بنسبة 1.5% فقط (ICC 0.0146).
- تمثل إعادة أخذ العينات النقية 34.8% من التباين، وتفسر تفاعل العلامة التجارية مع السياق 29.6%.
- تمثل تفاعلات العلامة التجارية واللغة 8.6% من التباين، مما يشير إلى عقوبة ثنائية اللغة.
- تفاعلات العلامة التجارية والنموذج والعلامة التجارية والاستعلام قريبة من الصفر.
- إضافة اللغات والنماذج تقلل من تباين الخطأ النسبي بشكل أكثر فعالية من إضافة التكرارات؛ حيث يقلل التكرار الخامس الخطأ بمقدار 0.0003 فقط.
يستنتج المؤلفون أن موثوقية ترتيب العلامات التجارية لا تزال منخفضة (قريبة من 0.01 لإجابة واحدة) ويجب تحسينها عن طريق توزيع التقييمات عبر اللغات والنماذج بدلاً من تكرار الاستعلامات.