文章认为,当前的LLM代理往往以隐式的后果意识行事,这对于具有重大后果的任务来说是不够的。它提出了“显式预知”作为必需的架构层,以确保代理在执行前对风险建模并预测效果。
- 该概念通过ORCA认知运行时实现,其中使用由有界认知行为(COGITs)组成的三段论(SYLLOGs)。
- 动作预检三段论将推理分解为步骤:规范化请求、动作建模、识别约束、提取不确定性、评分风险、预测后果、生成替代方案以及选择决策。
- 这种方法被呈现为一个可执行的过程,具有清晰的中间契约,而不是模糊的提示指令。
- 作者发表了一篇题为“超越提示谨慎和护栏:运行时强制的前置行动认知以实现可信LLM代理”的论文,详细阐述了这种运行时强制的认知。
作者认为这很重要,因为可信的代理需要这样的架构,其中关键推理可以被明确要求,而不是仅仅依赖模型能力或提示模式。