文章认为,当前AI系统的根本危险在于其倾向于填补缺失信息而非停止,从而导致在没有明确指令的情况下执行。为了缓解这一风险,该提案提出一个框架,从模型本身移除定义和裁决权限。
- 系统将决定必须验证什么的任务移至模型之外。
- 关于是否已进行验证的裁决也移至模型之外。
- 规则被声明为检查清单,而代码执行验证并记录结果。
- 执行仅通过读取记录的、由人类声明的结果来推进。
这种结构确保猜测不会变成执行,将决策权和责任都保留在人类手中。
文章认为,当前AI系统的根本危险在于其倾向于填补缺失信息而非停止,从而导致在没有明确指令的情况下执行。为了缓解这一风险,该提案提出一个框架,从模型本身移除定义和裁决权限。
这种结构确保猜测不会变成执行,将决策权和责任都保留在人类手中。