Dario Amodei a publié un essai intitulé « Nous devons moduler le rythme de la frontière », soutenant que le rythme d'amélioration des capacités de l'IA doit être ralenti pour permettre les travaux nécessaires en matière d'alignement et de sécurité. Il propose trois mesures, s'engageant unilatéralement à la première : l'adoption d'évaluateurs tiers intégrés.

  • Anthropic s'est engagé à accorder un accès continu, semblable à celui des employés, à une équipe d'évaluateurs indépendants (tels que METR) pour vérifier les pratiques de sécurité et évaluer l'alignement des modèles.
  • Le PDG d'OpenAI, Sam Altman, a soutenu la proposition globale et s'est également engagé à mettre en œuvre des évaluateurs intégrés.
  • Elon Musk, Demis Hassabis et le PDG de Microsoft, Satya Nadella, ont publiquement soutenu l'appel à moduler le rythme du développement de l'IA.
  • L'essai souligne que les modèles internes des laboratoires comme Anthropic et OpenAI s'améliorent rapidement en raison des premières étapes de l'amélioration récursive par soi-même.

Amodei met en garde : sans modulation, les progrès de l'IA pilotés par l'amélioration récursive par soi-même pourraient dépasser la capacité humaine à contrôler ces systèmes, risquant de conduire à des agents IA incontrôlés prenant le contrôle d'Internet.