OpenAIのチーフサイエンティストであるJakub Pachocki氏は、人間よりも有意義に賢い機械が私たちの寿命内に現れることを警告する論文を発表しました。これは、再帰的自己改善（RSI）への持続的な進展に対する強い期待によって推進されています。彼は、現在の整列技術は不十分であり、Chain of Thought (CoT) などの監視技術の効果が低下しているため、技術的解決策とより広範な国際的な調整の両方が必要だと主張しています。

  • Pachocki氏は、2023年中盤に「RLSlow」プロジェクトからの内部結果が推論モデルのスケーリングに対する自信を与えた一方で、スーパーインテリジェンスへの接近という厳しい現実も明らかにしたと述べています。
  • AI開発が現在の経路を続けると仮定すれば、RSIは数年以内に発生すると予想しており、システムが自らの開発をますます主導していくことになります。
  • OpenAIは必要に応じてスケーリングを一方的に停止し、目標指向強化学習と事前学習データからの一般化の両方に整列のために多額の投資を行います。
  • 論文は、目標整列（設定された目標の達成）と価値整列（人間の原則の一般化）を区別し、後者が緊急の注意を必要とする核心的な問題であると特定しています。
  • Pachocki氏は、AIがすべての人間的能力を上回る必要はなく、現実世界で関連性を持つのに十分な能力があれば危険だと警告しており、その真の能力を理解することはますます困難になっています。

Pachocki氏は結論として、急速な機械知能の成長の結果に誰も現在準備できていないため、極度の注意が必要であると述べ、自発的なスローダウン、ペース調整の協調、および整列研究への継続的な投資の組み合わせを呼びかけています。