研究者らは、人間の視覚系の中心窩サンプリングや眼球運動に触発されたビジョントランスフォーマーアーキテクチャであるFoveated Dynamic Transformer (FDT)を発表した。このモデルは、fixationおよびfoveationモジュールを統合し、トークンを動的に選択することで関連のない情報をフィルタリングしつつ、マルチスケールの埋め込みを生成する。

  • FDTは、50%のfixation-budget設定において、DeiT-Sの80.9%に対して81.9%の精度を達成した。
  • このアーキテクチャは、より高い精度を維持しながら乗算加算演算を34.57%削減する。
  • このモデルは、これらの課題に対する明示的なトレーニングなしに、さまざまな種類のノイズや敵対的攻撃に対して強い耐性を示す。

これらの特性により、FDTは適応的計算と改善された耐性を組み合わせた人工ニューラルネットワークへの一歩として位置づけられる。