研究者がWideNDepth (WND)を提案した。これは、知識の保存を推論プロセスから切り離すニューラルアーキテクチャである。この設計では、Wide LayerとEncoderを使用してFeature Bankに保存される豊かな表現を生成し、別のDepth Layerが圧縮された状態を通じて反復的推論を処理する。

  • Wide Layerはより豊富な情報を持ち、Encoderによって処理され、Feature Bankに保存される表現となる。
  • Compressorはこの表現を小さく圧縮した状態に変換し、Depth Layerに渡す。
  • Depth Layerは圧縮された状態に対して段階的な推論を実行し、必要に応じてAttention-based retrievalを使用してFeature Bankにアクセスする。
  • 長い連鎖と中程度の難易度を含むグラフ推論タスクにおいて、約100KパラメータのWNDモデルは、約600KパラメータのTransformerベースラインに対して、パフォーマンス、トレーニング速度、サンプル効率、およびフットプリントで優れている。

著者は、Wide LayerとEncoderが現在ワークロードを支配しており、Depth Layerが未利用のままになっていると指摘し、これらのコンポーネントを制約して推論層のための有用な情報の生成にのみ焦点を当てる方法を求めている。