Le scientifique en chef d'OpenAI, Jakub Pachocki, a publié un essai mettant en garde contre l'arrivée prochaine de machines sensiblement plus intelligentes que les humains au cours de notre vie, alimentée par une forte attente de progrès soutus vers l'amélioration récursive de soi (RSI). Il soutient que les techniques actuelles d'alignement sont inadéquates et que les technologies de surveillance comme la Chaîne de Pensée (CoT) perdent en efficacité, ce qui nécessite à la fois des solutions techniques et une coordination internationale plus large.
- Pachocki indique que les résultats internes du projet « RLSlow » au milieu de l'année 2023 ont d'abord donné confiance dans le passage à l'échelle des modèles de raisonnement, mais ont également révélé la réalité glaçante de l'approche vers la superintelligence.
- Il s'attend à ce que la RSI se produise dans quelques années si le développement de l'IA continue sur sa trajectoire actuelle, les systèmes conduisant de plus en plus leur propre développement.
- OpenAI suspendra unilatéralement toute mise à l'échelle supplémentaire selon les besoins et investira massivement dans l'apprentissage par renforcement orienté vers les objectifs ainsi que dans la généralisation à partir des données de préentraînement pour l'alignement.
- L'essai distingue l'alignement des objectifs (accomplir des buts fixés) de l'alignement des valeurs (généraliser les principes humains), identifiant ce dernier comme le problème central nécessitant une attention urgente.
- Pachocki met en garde contre le fait que l'IA n'a pas besoin de surpasser toutes les capacités humaines pour être dangereuse, mais seulement d'en atteindre suffisamment pour devenir pertinente dans le monde réel, rendant de plus en plus difficile la compréhension de ses véritables capacités.
Pachocki conclut qu'une prudence extrême est requise car personne n'est actuellement préparé aux conséquences de la croissance rapide de l'intelligence machine, et il appelle à une combinaison de ralentissements volontaires, de coordination des rythmes et d'investissements continus dans la recherche sur l'alignement.