Исследователи представляют Фокусный динамический трансформер (FDT), архитектуру vision transformer, вдохновленную фокусным сэмплированием и движениями глаз человеческой зрительной системы. Модель интегрирует модулы фиксации и фокусировки для динамического выбора токенов, фильтруя нерелевантную информацию при генерации многомасштабных эмбеддингов.

  • FDT достигает точности 81.9% по сравнению с 80.9% у DeiT-S при настройке бюджета фиксации в 50%.
  • Архитектура снижает количество операций умножения-накопления на 34.57%, сохраняя более высокую точность.
  • Модель демонстрирует сильную устойчивость к различным типам шума и состязательным атакам без явного обучения для этих задач.

Эти характеристики позиционируют FDT как шаг к искусственным нейронным сетям, сочетающим адаптивные вычисления с улучшенной устойчивостью.