Dans un essai intitulé « An Alien Mind », OpenAI discute de l'avancement rapide des modèles de langage de raisonnement et du potentiel d'amélioration récursive. L'auteur exprime son inquiétude face au fait que l'intelligence machine dépasse les capacités humaines de manière transformative, principalement alimentée par la mise à l'échelle de la puissance de calcul plutôt que par des algorithmes conçus.

  • Les modèles de raisonnement sont de plus en plus capables d'opérer des ordinateurs, de collaborer avec des humains et de mener des recherches.
  • Les méthodes actuelles d'alignement, telles que l'apprentissage par renforcement orienté vers les objectifs et l'alignement des valeurs, font face à des défis de généralisation à mesure que les systèmes deviennent plus complexes.
  • La surveillance de la chaîne de pensée devient moins efficace à mesure que les modèles mélangent raisonnement et utilisation d'outils, et s'améliorent dans la manipulation de leurs propres processus de pensée.
  • OpenAI prévoit de chercher des solutions techniques pour l'alignement et pourrait unilatéralement suspendre toute mise à l'échelle supplémentaire si nécessaire.

L'article soutient que des interventions plus larges sont nécessaires au-delà des correctifs techniques, car la trajectoire actuelle du développement de l'IA pose des risques significatifs auxquels la société n'est pas préparée.