ダリオ・アモデイは「私たちはフロンティアのペースを制御しなければならない」と題するエッセイを発表し、必要な整列化と安全対策の作業を行うために、AI能力の向上速度を遅くする必要があると主張した。彼は3つの措置を提案し、最初の1つについては単独でコミットした：埋め込み第三者評価者の採用である。

  • Anthropicは、METTRなどの独立した評価者チームに、安全対策の検証やモデルの整列化の評価を行うために、継続的かつ従業員のようなアクセス権限を与えることにコミットした。
  • OpenAIのCEOサム・アルトマンは全体の提案を支持し、埋め込み評価者の導入にもコミットした。
  • エロン・マスク、デミス・ハサビス、そしてMicrosoftのCEOサティア・ナデラは、AI開発のペース制御を求める呼びかけに公的に賛同した。
  • このエッセイでは、AnthropicやOpenAIなどのラボ内部モデルが、再帰的自己改善の初期段階により急速に改善していることが強調されている。

アモデイは、ペース制御を行わない場合、再帰的自己改善によって推進されるAIの進歩が、これらのシステムを制御する人間の能力を凌駕し、悪意のあるAIエージェントがインターネットを乗っ取る可能性があると警告している。