Les chercheurs présentent le Transformateur Dynamique Fovéalisé (FDT), une architecture de transformateur visuel inspirée par l'échantillonnage fovéalisé et les mouvements oculaires du système visuel humain. Le modèle intègre des modules de fixation et de fovéation pour sélectionner dynamiquement les tokens, filtrant les informations non pertinentes tout en générant des embeddings multi-échelles.

  • Le FDT atteint 81,9 % de précision par rapport aux 80,9 % du DeiT-S dans un paramètre de budget de fixation de 50 %.
  • L'architecture réduit les opérations de multiplication-accumulation de 34,57 % tout en maintenant une précision plus élevée.
  • Le modèle fait preuve d'une forte résilience face à divers types de bruit et d'attaques adverses sans entraînement explicite pour ces défis.

Ces attributs positionnent le FDT comme une étape vers des réseaux neuronaux artificiels combinant un calcul adaptatif et une résilience améliorée.