Исследование демонстрирует, что злонамеренный тренер модели может внедрить бэкдоры в широкий класс глубоких прямо распространяемых нейронных сетей, которые статистически неразличимы даже в условиях white-box. Эти бэкдоры позволяют генерировать состязательные примеры на основе инвариантности путем отображения удаленных входных данных на необычно близкие выходные.
Модели с внедренным бэкдором и честно обученные модели остаются близкими по расстоянию тотального вариации, что означает их неразличимость даже при наличии полных описаний моделей, таких как все веса. Без бэкдора доказуемо невозможно при стандартных криптографических допущениях генерировать такие состязательные примеры за полиномиальное время.
Эти результаты подчеркивают фундаментальный дисбаланс сил между тренерами моделей и пользователями моделей в отношении безопасности и целостности моделей глубокого обучения.