Un chercheur propose WideNDepth (WND), une architecture neuronale qui découple le stockage des connaissances du processus de raisonnement. La conception utilise une Large Layer et un Encoder pour générer des représentations riches stockées dans une Feature Bank, tandis qu'une Depth Layer séparée gère le raisonnement itératif via des états compressés.
- La Wide Layer contient des informations plus riches, traitées par un Encoder en une représentation stockée dans une Feature Bank.
- Un Compressor réduit cette représentation en un état plus petit pour la Depth Layer.
- La Depth Layer effectue un raisonnement étape par étape sur l'état compressé, utilisant un retrieval basé sur l'attention pour accéder à la Feature Bank lorsque cela est nécessaire.
- Sur des tâches de raisonnement sur graphes impliquant de longues chaînes et une difficulté moyenne, un modèle WND d'environ 100K paramètres surpasse une baseline Transformer d'environ 600K paramètres en performance, vitesse d'entraînement, efficacité des échantillons et empreinte.
L'auteur note que la Wide Layer et l'Encoder dominent actuellement la charge de travail, laissant la Depth Layer sous-utilisée, et cherche des méthodes pour contraindre ces composants afin de se concentrer uniquement sur la production d'informations utiles pour la couche de raisonnement.