研究人员推出了中央凹动态Transformer（FDT），这是一种受人类视觉系统中央凹采样和眼球运动启发的vision transformer架构。该模型整合了注视和中央凹模块，以动态选择token，在生成多尺度嵌入的同时过滤无关信息。

  • 在50%的注视预算设置下，FDT达到81.9%的准确率，而DeiT-S为80.9%。
  • 该架构在保持更高准确率的同时，将乘加运算减少了34.57%。
  • 该模型对各种类型的噪声和对抗性攻击表现出强大的鲁棒性，且无需针对这些挑战进行显式训练。

这些特性使FDT成为结合自适应计算与增强鲁棒性的 Artificial Neural Networks 的一步。