OpenAI首席科学家Jakub Pachocki发表了一篇论文，警告称在人类有生之年将出现真正比人类更聪明的机器，这源于对持续取得递归自我改进（RSI）进展的强烈预期。他认为当前的对齐技术不足，而思维链（CoT）等监控技术的有效性正在下降，因此需要技术方案和更广泛的国际协调。

  • Pachocki表示，2023年中期的“RLSlow”项目内部结果首次让人对扩展推理模型充满信心，但也揭示了逼近超级智能的严峻现实。
  • 他预计，如果AI开发继续沿着当前路径发展，RSI将在几年内发生，系统将越来越多地推动自身的发展。
  • OpenAI将根据需要单方面暂停进一步的规模扩展，并大力投资目标导向强化学习和从预训练数据中泛化以实现对齐。
  • 该论文区分了目标对齐（完成既定目标）和价值对齐（泛化人类原则），并将后者确定为需要紧急关注的核心问题。
  • Pachocki警告称，AI无需在所有人类能力上都超越人类才具有危险性，只需在现实世界中变得足够相关即可，这使得理解其真实能力变得越来越困难。

Pachocki总结道，必须极度谨慎，因为目前没有人准备好应对机器智能快速增长的后果，他呼吁结合自愿放缓、节奏协调以及持续投资对齐研究。