यह अध्ययन देखता है कि बड़े भाषा मॉडल Taboo खेल खेलकर कठोर शब्दिक बाधाओं और संचारात्मक प्रभावकारिता के प्रतिस्पर्धी मांगों को कैसे संभालते हैं। शोधकर्ताओं ने जनरेटिव प्रक्रिया के क्रमबद्ध रूप से गहरे स्तरों में हस्तक्षेप करने वाली स्थितियों के तहत दो ओपन-वेट मॉडल का मूल्यांकन किया, जो प्रॉम्प्टिंग से लेकर आंतरिक प्रतिनिधित्व हेरफेर तक फैला हुआ था।
- निषिद्ध शब्द उल्लंघन पता लगाने और LLM-as-a-judge मापदंडों के माध्यम से आउटपुट का मूल्यांकन किया गया, जो यह मापते हैं कि विवरण मानव और मशीन अनुमानकों के लिए लक्ष्य अवधारणा को कितनी अच्छी तरह उत्पन्न करते हैं।
- विश्लेषण ने बाधाओं के तहत मॉडल द्वारा अपनाई गई रणनीतियों की तुलना मानव खिलाड़ियों द्वारा उपयोग की गई रणनीतियों से की।
- परिणाम संकेत देते हैं कि नियमों का पालन और संचारात्मक प्रभावकारिता स्थितियों के अनुसार अलग-अलग ढंग से समझौता करते हैं।
निष्कर्ष सुझाव देते हैं कि बाधा के तहत शब्दिक ग्राउंडिंग एक खुड़ी चुनौती बनी हुई है, क्योंकि मॉडल इस कार्य में मानवों की तुलना में काफी कमजोर रहते हैं।