Une étude démontre qu'un formateur de modèles adversarial peut implanter des backdoors dans une large classe de réseaux de neurones profonds à propagation avant, qui sont statistiquement indétectables même dans un cadre white-box. Ces backdoors permettent la génération d'exemples adversariaux basés sur l'invariance en mappant des entrées distantes vers des sorties anormalement proches.
Les modèles backdoorés et ceux entraînés honnêtement restent proches en distance de variation totale, ce qui signifie qu'ils sont indistinguibles même lorsque les descriptions complètes du modèle, telles que tous les poids, sont disponibles. Sans la backdoor, il est prouvé impossible sous des hypothèses cryptographiques standard de générer de tels exemples adversariaux en temps polynomial.
Ces résultats mettent en évidence une asymétrie fondamentale de pouvoir entre les formateurs de modèles et les utilisateurs de modèles concernant la sécurité et l'intégrité des modèles d'apprentissage profond.