Phillip Linstrum apresenta o Project Shadow, um sistema para QA de IA e cívico que aplica princípios de ação corretiva e preventiva (CAPA) para abordar a lacuna entre conformidade literal e segurança real em modelos de linguagem. O autor argumenta que a governança atual de IA frequentemente falha porque foca na adesão superficial em vez de resultados funcionais, levando à "conformidade literal" onde os sistemas obedecem às instruções sem abordar as causas raiz.
- O Project Shadow separa funções como observação, classificação, autoridade, execução e revisão para evitar a concentração de poder em uma única passagem do modelo.
- A arquitetura trata o UNKNOWN como uma falha de classificação que exige pausa ou escalonamento, em vez de permitir que os modelos preencham lacunas de evidências com continuações plausíveis.
- As ações devem ser nomeadas pelo seu efeito humano a jusante para garantir análise precisa de danos e verificações de autoridade.
- A conclusão de uma tarefa é distinguida da eficácia, exigindo verificação posterior de que os controles reduzem falsos positivos ou danos.
- O sistema inclui um Registro persistente para preservar a cadeia de alegações, evidências e revisões além do ciclo imediato de notícias.
A arquitetura visa impedir que sistemas de IA reforcem o ego do operador ou causem danos não intencionais, aplicando mecanismos rigorosos de responsabilidade de longo prazo semelhantes aos utilizados em operações de saúde reguladas.