लेखक ने DESi Review जारी किया है, जो एक व्यावहारिक अनुप्रयोग है मॉडल-स्वतंत्र DESi ज्ञानवादी शासन ढांचे का, जिसे एक स्थापनीय Claude कौशल के रूप में पैकेज किया गया है। यह उपकरण निर्धारक दावा निष्कर्षण को मॉडल-आधारित निर्णय से अलग करके अंग्रेजी पाठ पर एक संरचित पत्र-समीक्षा पाइपलाइन चलाता है।

  • सिस्टम दावों को एक मानक लेजर में निकालता है और Claude का उपयोग चार निर्णयों के खिलाफ उनका मूल्यांकन करने के लिए करता है: SUPPORTED, OVERSTATED, UNSUPPORTED, या NOT_A_CLAIM।
  • एक निर्धारक परत स्कीमा अनुपालन, हैशिंग, और रीप्ले-स्थिर स्थिति सुनिश्चित करती है बिना स्वयं मॉडल कॉल किए।
  • इंस्टॉलेशन के लिए एक भुगतान किया गया Claude प्लान, कोड निष्पादन सक्षम, और सार्वजनिक रिपॉजिटरीज़ को क्लोन करने के लिए नेटवर्क एक्सेस की आवश्यकता है।
  • लेखक DESi Review की साधारण LLM प्रॉम्प्ट्स के साथ तुलना करने वाले एक A/B परीक्षण का प्रस्ताव देता है दावा पहचान और ऑडिट करने की क्षमता में अंतर को मापने के लिए।

परियोजना का उद्देश्य यह निर्धारित करना है कि क्या स्पष्ट ज्ञानवादी वास्तुकला समीक्षा परिणामों को मानक प्रॉम्प्टिंग की तुलना में बदलती है, यह स्वीकार करते हुए कि निर्धारक परत संरचना को नियंत्रित करती है लेकिन अर्थपूर्ण निर्णयों को त्रुटिरहित नहीं बनाती।