연구자들은 인간의 시각 시스템의 중심窩 샘플링 및 안구 운동에서 영감을 받은 비전 트랜스포머 아키텍처인 Foveated Dynamic Transformer (FDT)를 소개했습니다. 이 모델은 고정(fixation) 및 중심窝(foveation) 모듈을 통합하여 토큰을 동적으로 선택하고 관련 없는 정보를 필터링하면서 다중 스케임 임베딩을 생성합니다.
- FDT는 50% 고정(budget) 설정에서 DeiT-S의 80.9% 대비 81.9% 정확도를 달성했습니다.
- 이 아키텍처는 더 높은 정확도를 유지하면서 곱셈-누적 연산을 34.57% 줄입니다.
- 이 모델은 이러한 도전에 대한 명시적인 학습 없이 다양한 유형의 노이즈 및 적대적 공격에 대해 강한 내성을 보입니다.
이러한 특성으로 인해 FDT는 적응형 계산과 향상된 내성을 결합한 인공 신경망으로 나아가는 한 걸음으로 자리매김하고 있습니다.