2024년부터 2026년 사이에 출판된 arXiv 논문 1,250편에 대한 조사는 자기 개선 메커니즘(자기 개선, 자기 보상, 자기 플레이 등)을 통해 자신의 개선에 참여하는 AI 시스템을 분석합니다. 저자들은 수렴적이며 이미 산업에서 사용되는 유계 자기 개선과 그라운딩 요구 사항 및 컴퓨팅 제약으로 인해 제한된 개방적 재귀적 자기 개선(RSI)을 분리하는 분류 체계를 제안합니다.

  • 이 분류 체계는 무엇이 개선되는지(행동, 정책, 평가자 또는 연구 프로세스)와 루프 폐쇄의 정도에 따라 개선을 분류합니다.
  • 자기 평가는 모든 개선 루프가 인간의 판단을 대체할 수 있는 신호를 제공한다고 주장하는 독특한 특징으로 식별됩니다.
  • 검증 계층은 형식적 검증자에서 내재적 자기 평가까지 신호를 순서대로 배치하며, 입증된 개선 강도는 이 순서를 따릅니다.
  • 모델 붕괴 및 다양성 붕괴와 같은 실패 모드는 이 계층의 위반과 관련이 있습니다.
  • 연구 방향 설정의 병목 현상은 계층의 최상위에서 인간을 루프 내에 유지합니다.

이 작업은 기술 문헌을 RSI의 한계와 안전 거버넌스에 연결하며, 자기 개선에 대한 거버넌스 등급 측정이 중요한 미충족 틈새 시장임을 식별합니다.