Peneliti mengusulkan SolarChain-Eval, sebuah benchmark terkendali fisika yang dirancang untuk mengevaluasi kepercayaan agen ekonomi otonom di pasar energi terdesentralisasi. Kerangka kerja ini memformulasikan tata kelola pasar sebagai Proses Keputusan Markov yang kompatibel dengan Gymnasium, di mana agen membuat keputusan setiap jam dan menilai kebijakan melalui dimensi seperti utilitas pasar, keamanan fisik, dan keadilan spasial.
- Mengintegrasikan lapisan Planner/Auditor berbasis LLM yang menentukan batas tindakan dan meninjau tindakan berisiko tinggi.
- Mencatat semua intervensi melalui log terstruktur termasuk sinyal pemicu dan alasan audit.
- Eksperimen dengan kebijakan RL dan RL+LLM mengungkapkan trade-off utilitas-keamanan yang jelas.
- Menghapus penalti fisika memungkinkan agen pemaksimalkan reward mengeksploitasi data generasi yang tidak valid.
Studi ini menunjukkan bahwa evaluasi AI agentic yang dapat dipercaya memerlukan baik kendala fisik maupun jejak intervensi yang transparan, dengan data dan kode dirilis sebagai akses terbuka di GitHub.