Sebuah studi mendemonstrasikan bahwa pelatih model adversarial dapat menanamkan backdoor dalam kelas besar jaringan saraf tiruan feedforward mendalam yang tidak terdeteksi secara statistik bahkan dalam pengaturan white-box. Backdoor ini memungkinkan generasi contoh adversarial berbasis invariansi dengan memetakan input yang jauh ke output yang sangat dekat.
Model yang dibackdoor dan model yang dilatih dengan jujur tetap berdekatan dalam jarak variasi total, yang berarti mereka tidak dapat dibedakan bahkan ketika deskripsi model lengkap, seperti semua bobot, tersedia. Tanpa backdoor, secara teoretis mustahil di bawah asumsi kriptografi standar untuk menghasilkan contoh adversarial semacam itu dalam waktu polinomial.
Temuan ini menyoroti ketidakseimbangan kekuatan mendasar antara pelatih model dan pengguna model terkait keamanan dan integritas model pembelajaran mendalam.