Seorang peneliti mengusulkan WideNDepth (WND), sebuah arsitektur neural yang memisahkan penyimpanan pengetahuan dari proses penalaran. Desain ini menggunakan Wide Layer dan Encoder untuk menghasilkan representasi kaya yang disimpan di Feature Bank, sementara Depth Layer terpisah menangani penalaran iteratif melalui keadaan terkompresi.

  • Wide Layer menyimpan informasi yang lebih kaya, diproses oleh Encoder menjadi representasi yang disimpan di Feature Bank.
  • Compressor mengurangi representasi ini menjadi keadaan yang lebih kecil untuk Depth Layer.
  • Depth Layer melakukan penalaran langkah demi langkah atas keadaan terkompresi, menggunakan retrieval berbasis perhatian untuk mengakses Feature Bank ketika diperlukan.
  • Pada tugas penalaran graf yang melibatkan rantai panjang dan kesulitan sedang, model WND dengan sekitar 100K parameter mengungguli baseline Transformer dengan sekitar 600K parameter dalam kinerja, kecepatan pelatihan, efisiensi sampel, dan jejak.

Penulis mencatat bahwa Wide Layer dan Encoder saat ini mendominasi beban kerja, meninggalkan Depth Layer yang kurang dimanfaatkan, dan mencari metode untuk membatasi komponen-komponen ini agar fokus semata-mata pada menghasilkan informasi yang berguna untuk lapisan penalaran.