Uma nova implementação do chatbot ELIZA utiliza uma arquitetura de autoencoder esparsa para armazenar entradas de conversa em uma camada de memória latente, visando melhorar os métodos tradicionais de correspondência de palavras-chave. O sistema emprega uma estrutura codificador-decodificador T5 com uma camada de memória de 32.768 neurônios, onde entradas semelhantes são ativadas por meio de aprendizado contrastivo.
- O modelo alcança escalonamento logarítmico de memória (log(n)) e forte resistência ao esquecimento catastrófico ao usar neurônios monossemânticos e ativar apenas as conexões top-k.
- O treinamento em 10.000 pares de QA do conjunto de dados 'naklecha/minecraft-question-answer-700k' permitiu a memorização latente de todas as entradas em três horas.
Ao contrário do ELIZA padrão, que produz sequências armazenadas exatas, o decodificador pode modificar ligeiramente as respostas, embora ainda seja necessário que exista uma entrada semelhante para cada pergunta.
O autor observa que, embora a abordagem demonstre velocidade e eficiência de memória, as limitações atuais impedem a escalabilidade para conjuntos de dados maiores para verificar totalmente as alegações de compressão e mitigação do esquecimento.