Une enquête portant sur 1 250 articles arXiv publiés entre 2024 et 2026 analyse les systèmes d'IA qui participent à leur propre amélioration via des mécanismes tels que l'auto-amélioration, l'auto-récompense et le self-play. Les auteurs proposent une taxonomie séparant l'auto-amélioration bornée, qui est convergente et déjà utilisée dans l'industrie, de l'amélioration récursive ouverte (RSI), qui reste limitée par les exigences d'ancrage et les contraintes de calcul.
- La taxonomie classe les améliorations en fonction de ce qui est amélioré (comportement, politique, évaluateur ou processus de recherche) et du degré de fermeture de la boucle.
- L'auto-évaluation est identifiée comme une caractéristique distinctive, chaque boucle d'amélioration affirmant qu'un signal peut remplacer le jugement humain.
- Une hiérarchie de vérification ordonne les signaux des vérificateurs formels à l'évaluation intrinsèque, la force de l'amélioration démontrée suivant cet ordre.
- Les modes d'échec tels que l'effondrement du modèle et l'effondrement de la diversité sont liés aux violations de cette hiérarchie.
- Le goulot d'étranglement dans la définition des orientations de recherche maintient les humains dans la boucle au sommet de la hiérarchie.
Ce travail relie la littérature technique aux limites de la RSI et à la gouvernance de la sécurité, identifiant la mesure de l'amélioration auto-améliorante au niveau de la gouvernance comme un créneau critique sous-représenté.