Phillip Linstrum présente Project Shadow, un système pour la QA (assurance qualité) de l'IA et du domaine civique qui applique les principes d'action corrective et préventive (CAPA) pour combler le fossé entre la conformité littérale et la sécurité réelle des modèles de langage. L'auteur soutient que la gouvernance actuelle de l'IA échoue souvent car elle se concentre sur l'adhésion de surface plutôt que sur les résultats fonctionnels, conduisant à une « conformité littérale » où les systèmes obéissent aux instructions sans traiter les causes profondes.
- Project Shadow sépare les rôles tels que l'observation, la classification, l'autorité, l'exécution et la révision pour empêcher la concentration du pouvoir dans un seul passage du modèle.
- L'architecture traite UNKNOWN comme un échec de classification nécessitant une pause ou une escalade, plutôt que d'autoriser les modèles à combler les lacunes de preuves par des continuations plausibles.
- Les actions doivent être nommées par leur effet humain en aval pour garantir une analyse précise des dommages et des vérifications d'autorité.
- L'achèvement d'une tâche est distingué de son efficacité, nécessitant une vérification ultérieure que les contrôles réduisent les faux positifs ou les dommages.
- Le système inclut un Registre persistant pour préserver la chaîne des affirmations, des preuves et des révisions au-delà du cycle d'actualité immédiat.
L'architecture vise à empêcher les systèmes IA de renforcer l'ego de l'opérateur ou de causer des dommages involontaires en imposant des mécanismes de responsabilisation rigoureux et à long terme similaires à ceux des opérations de santé réglementées.