Un investigador propone WideNDepth (WND), una arquitectura neuronal que desacopla el almacenamiento de conocimiento del proceso de razonamiento. El diseño utiliza una Capa Ancha y un Codificador para generar representaciones ricas almacenadas en un Banco de Características, mientras que una Capa Profunda separada maneja el razonamiento iterativo a través de estados comprimidos.
- La Capa Ancha contiene información más rica, procesada por un Codificador en una representación almacenada en un Banco de Características.
- Un Compresor reduce esta representación a un estado más pequeño para la Capa Profunda.
- La Capa Profunda realiza razonamiento paso a paso sobre el estado comprimido, utilizando recuperación basada en atención para acceder al Banco de Características cuando sea necesario.
- En tareas de razonamiento en grafos que involucran cadenas largas y dificultad media, un modelo WND de ~100K parámetros supera a una línea base Transformer de ~600K parámetros en rendimiento, velocidad de entrenamiento, eficiencia de muestra y huella.
El autor señala que la Capa Ancha y el Codificador dominan actualmente la carga de trabajo, dejando la Capa Profunda subutilizada, y busca métodos para restringir estos componentes para enfocarse únicamente en producir información útil para la capa de razonamiento.