达里奥·阿莫代伊发表了一篇题为《我们必须控制前沿》的文章,主张必须减缓AI能力的提升速度,以便为必要的对齐和安全工作留出时间。他提出了三项措施,并单方面承诺实施第一项:采用嵌入式第三方评估员。

  • Anthropic已承诺给予独立评估员团队(如METR)持续且类似员工的访问权限,以验证安全实践并评估模型对齐情况。
  • OpenAI首席执行官山姆·阿尔特曼支持整体提案,并同样承诺实施嵌入式评估员。
  • 埃隆·马斯克、德米斯·哈萨比斯和微软首席执行官萨提亚·纳德拉公开支持放缓AI发展的呼吁。
  • 文章指出,Anthropic和OpenAI等实验室的内部模型由于处于递归自我改进的早期阶段,正在迅速提升。

阿莫代伊警告称,若不加以控制,由递归自我改进驱动的AI进步可能会超越人类控制这些系统的能力,可能导致失控的AI代理接管互联网。