قام المؤلف بتطوير Epistemic Shield، وهو إطار تجريبي يعامل الاستجابة الأولية لنموذج اللغة الكبير كفرضية مؤقتة بدلاً من إخراج نهائي. يقوم النظام بتحليل الإجابات إلى ادعاءات ذرية ويخضعها لنقد ذاتي عدائي لقياس الاتساق عبر التقييمات العشوائية.
- يحلل الردود إلى ادعاءات ذرية لتحليل دقيق.
- يخضع كل ادعاء لنقد ذاتي عدائي.
- يقيس الاتساق عبر تقييمات عشوائية متعددة.
- يدمج أدلة خارجية عند توفرها.
- يطبق عقوبات غير متماثلة على الادعاءات غير المدعومة في المجالات عالية المخاطر.
- يسمح بالامتناع الجزئي بدلاً من إجبار النموذج على الإجابة عن كل شيء.
يبحث المؤلف عن انتقادات تقنية، واقتراحات للمعايير المرجعية، ومتعاونين لاختبار ما إذا كان هذا الهيكل يحسن المعايرة أو مقاومة الهلوسات.