लेवंत बुलुट ने "सारांश पूर्वाग्रह" की कार्यशील परिभाषा को ढीले विवरण से एक परीक्षण योग्य संरचना में अपडेट किया है, जिसमें पूर्व-निर्धारित असत्य सिद्धकर्ताओं के साथ एक पंजीकृत शोध प्रोटोकॉल स्थापित किया गया है। नई परिभाषा इस पूर्वाग्रह को मॉडलों की दिखाए गए तरीके (shown-mode) की संरचना को अमूर्त सारांश लेबल (सुनाया गया तरीका/told mode) से बदलने की व्यवस्थित प्रवृत्ति के रूप में चित्रित करती है, न कि केवल विवरणों को हटाने के रूप में।
- इस संरचना को दिखाए गए तरीके की पुनर्निर्मित संरचना को उसकी सामग्री का नामकरण करने वाले अमूर्त सारांश लेबल से बदलने के रूप में परिभाषित किया गया है, विशेष रूप से "दिखाए गए" भौतिक संकेतों की तुलना में "सुनाए गए" घोषणाओं को प्राथमिकता देते हुए।
- प्रोटोकॉल में मानव-लिखित उत्तेजनाओं के 20 युग्मित जोड़ों और LLM जजों का उपयोग करके कम से कम तीन मॉडल परिवारों द्वारा मूल्यांकन की आवश्यकता है।
- एक प्रमुख असत्य सिद्धकर्ता स्थापित किया गया है: यदि मॉडल मानवों की तुलना में सुनाए गए तरीके के लिए कोई प्राथमिकता नहीं दिखाते हैं (Cohen’s h ≥ 0.3 या OR ≥ 2), तो इस संरचना को वापस ले लिया जाएगा।
- पूर्णता और सycophancy से पूर्वाग्रह को अलग करने के लिए विभेदक जांच शामिल हैं, जिनमें लंबाई-असंतुलित जोड़ों और बदले गए फ्रेमिंग के साथ परीक्षणों को फिर से चलाया जाता है।
बुलुट डिज़ाइन की आलोचना चाहते हैं, विशेष रूप से यह कि क्या लंबाई-मिलान इस पूर्णता पूर्वाग्रह से पर्याप्त रूप से अलग करता है और क्या दमित सूचकांक सूचकांक (Suppressed Information Index) निहित भार को मापने के लिए सही उपकरण है।