一项研究证明,对抗性模型训练者可以在一大类深度前馈神经网络中植入后门,这些后门即使在白盒设置下在统计上也是不可检测的。这些后门通过将远距离输入映射到异常接近的输出,允许生成基于不变性的对抗样本。

带有后门和诚实训练的模型在全变差距离上保持接近,这意味着即使拥有完整的模型描述(如所有权重),它们也是无法区分的。在没有后门的情况下,在标准密码学假设下,多项式时间内生成此类对抗样本被证明是不可能的。

这些发现突显了模型训练者和模型使用者之间在深度学习模型的安全性和完整性方面的根本权力不对称。