Para peneliti memperkenalkan Foveated Dynamic Transformer (FDT), sebuah arsitektur transformer visi yang terinspirasi oleh pengambilan sampel foveated dan gerakan mata sistem visual manusia. Model ini mengintegrasikan modul fiksasi dan foveasi untuk secara dinamis memilih token, memfilter informasi yang tidak relevan sambil menghasilkan embedding multi-skala.

  • FDT mencapai akurasi 81,9% dibandingkan dengan 80,9% DeiT-S pada pengaturan anggaran fiksasi 50%.
  • Arsitektur ini mengurangi operasi multiply-accumulate sebesar 34,57% sambil mempertahankan akurasi yang lebih tinggi.
  • Model ini menunjukkan ketahanan yang kuat terhadap berbagai jenis noise dan serangan adversarial tanpa pelatihan eksplisit untuk tantangan tersebut.

Atribut-atribut ini menempatkan FDT sebagai langkah menuju jaringan saraf artifisial yang menggabungkan komputasi adaptif dengan ketahanan yang lebih baik.