WideNDepth는 지식 저장과 반복적 추론을 분리합니다

한 연구자가 WideNDepth (WND)를 제안했습니다. 이는 지식 저장을 추론 프로세스에서 분리하는 신경 아키텍처입니다. 이 설계는 Feature Bank에 풍부한 표현을 저장하기 위해 Wide Layer와 Encoder를 사용하며, 별도의 Depth Layer가 압축된 상태를 통해 반복적 추론을 처리합니다.

• Wide Layer는 더 풍부한 정보를 보유하며, Encoder에 의해 처리되어 Feature Bank에 저장되는 표현이 됩니다.
• Compressor는 이 표현을 작은 상태로 압축하여 Depth Layer로 전달합니다.
• Depth Layer는 압축된 상태에 대해 단계별 추론을 수행하며, 필요할 때 Attention-based retrieval를 사용하여 Feature Bank에 접근합니다.
• 긴 체인과 중간 난이도를 포함하는 그래프 추론 작업에서 약 100K 파라미터의 WND 모델은 약 600K 파라미터의 Transformer 기반 모델보다 성능, 학습 속도, 샘플 효율성 및 공간 점유율에서 우수합니다.

저자는 Wide Layer와 Encoder가 현재 워크로드를 지배하고 있어 Depth Layer가 미활용 상태라고 지적하며, 이러한 구성 요소를 제한하여 추론 레이어를 위한 유용한 정보 생성에만 초점을 맞추는 방법을 모색하고 있습니다.