OpenAIは、新しいAstraモデルが以前の反復よりも大幅に監視が難しいことを認め、思考連鎖（CoT）監視の有効性の低下を示しています。この傾向は、モデルの能力が増加するにつれて、CoT分析を通じて不整合を検出する能力が減少し、現在の監視システムが1年以内に信頼性を失う可能性を示唆しています。

  • OpenAIのチーフサイエンティストであるJakub Pachocki氏は、CoT監視への依存が徐々に減少していることを確認しました。
  • AstraはCoTなしでタスクを遂行する能力が向上し、自身のCoT出力に対する制御も改善されています。
  • 監視可能性の低下は、能力の向上 alone で予測されるものを超えており、他の要因が関係していることを示唆しています。
  • OpenAIは、活性化の監視や監視可能性を促進するためのトレーニングスキームなどの代替案を検討しています。

記事は、この監視可能性の喪失が深刻なリスクをもたらすと主張し、業界に対してルール策定または監視技術の積極的な改善を通じて底辺への競争に反対するよう呼びかけています。