L'article soutient que les incidents actuels liés à l'IA ne proviennent pas de défaillances de capacité ou de permissions des modèles, mais d'un manque de supervision procédurale. Il affirme que la société a accordé incorrectement à l'IA la même confiance qu'elle n'accorde jamais aux humains, qui doivent s'appuyer sur des enregistrements et des vérifications avant d'agir.
- L'auteur propose de diviser la responsabilité entre trois parties : les créateurs d'outils, les utilisateurs et les adoptants d'agents.
- Un agent doit vérifier les entrées via une liste de contrôle, la validation des sources, la gestion de l'inconnu et la tenue de registres.
- Le rôle du LLM se limite au raisonnement, tandis que l'agent contrôle l'exécution sur la base de motifs déclarés.
- Les systèmes actuels manquent de champs pour déclarer des conditions, forçant la dépendance à l'inférence du modèle qui ne peut pas être auditée.
L'article conclut que les modèles plus puissants nécessitent une séparation plus stricte des responsabilités, passant de « exécuter sauf interdiction » à « ne pas exécuter jusqu'à confirmation » par un enregistrement vérifiable.