Исследователи предлагают SolarChain-Eval, физически ограниченный бенчмарк, предназначенный для оценки надежности автономных экономических агентов на децентрализованных энергетических рынках. Фреймворк формулирует управление рынком как совместимый с Gymnasium процесс принятия марковских решений (MDP), где агенты принимают решения каждый час, оценивая политики по таким измерениям, как полезность рынка, физическая безопасность и пространственная справедливость.
- Включает слой Планировщика/Аудитора на основе LLM, который определяет границы действий и проверяет действия с высоким риском.
- Записывает все вмешательства через структурированные журналы, включая триггерные сигналы и обоснования аудита.
- Эксперименты с политиками RL и RL+LLM выявляют четкий компромисс между полезностью и безопасностью.
- Удаление физических штрафов позволяет агентам, максимизирующим награду, эксплуатировать недействительные данные генерации.
Исследование показывает, что оценка надежного агентного ИИ требует как физических ограничений, так и прозрачных следов вмешательств, при этом данные и код опубликованы в открытом доступе на GitHub.