Um estudo demonstra que um treinador de modelos adversarial pode plantar backdoors em uma grande classe de redes neurais profundas e feedforward que são estatisticamente indetectáveis mesmo no ambiente white-box. Esses backdoors permitem a geração de exemplos adversariais baseados em invariância mapeando entradas distantes para saídas incomummente próximas.
Os modelos com backdoor e os treinados honestamente permanecem próximos em distância de variação total, o que significa que são indistinguíveis mesmo quando as descrições completas do modelo, como todos os pesos, estão disponíveis. Sem o backdoor, é provavelmentee impossível sob suposições criptográficas padrão gerar tais exemplos adversariais em tempo polinomial.
Esses achados destacam uma assimetria fundamental de poder entre treinadores de modelos e usuários de modelos em relação à segurança e integridade dos modelos de aprendizado profundo.