本文认为,AI代理经常基于不完整的指令执行操作,通过猜测缺失的信息来解决这一问题,该问题被称为“预执行确认失败”。它提出了一种运行时强制执行的结构,要求在采取任何行动之前验证已知和未知项。

  • 核心问题不在于规则“如果不确定,就询问”,而是缺乏防止AI填补空白的结构强制力。
  • Level 1故障涉及AI猜测并填补空白,而Level 3故障发生在无法从用户话语中确认操作时。
  • 该提案包括一个为AI提供商和代理平台开发者设计的12页机制,用于实施预执行检查。
  • 这种方法旨在通过迫使代理在执行前暂停并验证条件,来阻止代理制造事故。

作者认为这很重要,因为它将验证的责任从意图转移到结构上,确保在所需信息未经验证时AI不会执行操作。