2024年から2026年の間に出版された1,250件のarXiv論文の調査は、自己改善メカニズム(自己改善、自己報酬、自己対戦など)を通じて自身の改善に関与するAIシステムを分析している。著者は、収束性を持ち既に産業で使われている有界自己改善と、グラウンディング要件と計算リソースの制約によって制限されたままとなっているオープンエンドの再帰的自己改善(RSI)を分離する分類体系を提案している。
- この分類体系は、何が改善されるか(行動、ポリシー、評価者、または研究プロセス)とループ閉鎖の度合いに基づいて改善を分類する。
- 自己評価は特徴的な機能として特定されており、すべての改善ループが人間の判断に代わるシグナルを提供できると主張している。
- 検証階層は形式検証から内在的自己評価までシグナルを順序付けし、実証された改善の強さがこの順序を追跡する。
- モデル崩壊や多様性崩壊などの失敗モードは、この階層の違反と関連付けられている。
- 研究方向性の設定におけるボトルネックにより、階層のトップで人間がループ内にとどまっている。
本研究は、技術文献をRSIの限界と安全ガバナンスに結びつけ、自己改善のガバナンスグレードの測定が重要な未開拓のニッチであることを特定している。