शोधकर्ताओं ने SolarChain-Eval का प्रस्ताव रखा है, जो एक भौतिक-बाध्यकारी बेंचमार्क है जिसे विकेंद्रीकृत ऊर्जा बाजारों में स्वायत्त आर्थिक एजेंटों की विश्वसनीयता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। फ्रेमवर्क बाजार प्रशासन को एक Gymnasium-संगत मार्कोव निर्णय प्रक्रिया के रूप में परिभाषित करता है जहां एजेंट प्रति घंटे निर्णय लेते हैं, बाजार उपयोगिता, भौतिक सुरक्षा और स्थानिक न्याय जैसे आयामों के माध्यम से नीतियों का मूल्यांकन करते हुए।
- एक LLM-आधारित प्लानर/ऑडिटर परत को शामिल करता है जो क्रिया सीमाओं को परिभाषित करती है और उच्च-जोखिम वाली क्रियाओं की समीक्षा करती है।
- ट्रिगर संकेतों और ऑडिट तर्कों सहित संरचित लॉग के माध्यम से सभी हस्तक्षेपों को रिकॉर्ड करता है।
- RL और RL+LLM नीतियों के साथ प्रयोग उपयोगिता-सुरक्षा समझौते को स्पष्ट रूप से दर्शाते हैं।
- भौतिक दंडों को हटाने से पुरस्कार-अधिकतम करने वाले एजेंट अमान्य जनरेट डेटा का शोषण कर सकते हैं।
अध्ययन संकेत देता है कि विश्वसनीय एजेंटिक AI मूल्यांकन के लिए भौतिक बाधाओं और पारदर्शी हस्तक्षेप ट्रेस दोनों की आवश्यकता होती है, और डेटा और कोड GitHub पर ओपन एक्सेस के रूप में जारी किए गए हैं।