Um pesquisador propõe o WideNDepth (WND), uma arquitetura neural que desacopla o armazenamento de conhecimento do processo de raciocínio. O design utiliza uma Camada Larga e um Codificador para gerar representações ricas armazenadas em um Banco de Recursos, enquanto uma Camada Profunda separada lida com o raciocínio iterativo por meio de estados comprimidos.
- A Camada Larga contém informações mais ricas, processadas por um Codificador em uma representação armazenada em um Banco de Recursos.
- Um Compressor reduz essa representação para um estado menor para a Camada Profunda.
- A Camada Profunda realiza raciocínio passo a passo sobre o estado comprimido, usando recuperação baseada em atenção para acessar o Banco de Recursos quando necessário.
- Em tarefas de raciocínio em grafos envolvendo cadeias longas e dificuldade média, um modelo WND de ~100K parâmetros supera uma linha de base Transformer de ~600K parâmetros em desempenho, velocidade de treinamento, eficiência de amostra e pegada.
O autor observa que a Camada Larga e o Codificador atualmente dominam a carga de trabalho, deixando a Camada Profunda subutilizada, e busca métodos para restringir esses componentes para focar exclusivamente em produzir informações úteis para a camada de raciocínio.