一种新的ELIZA聊天机器人实现利用稀疏自编码器架构，将对话条目存储在潜在记忆层中，旨在改进传统的关键词匹配方法。该系统采用T5编码器-解码器结构，配备32,768个神经元的记忆层，通过对比学习激活相似条目。

  • 该模型通过使用单语义神经元并仅激活前k个连接，实现了log(n)的对数记忆扩展以及对灾难性遗忘的强大抵抗力。
  • 在'naklecha/minecraft-question-answer-700k'数据集的10,000对问答对上训练，使得所有条目在三个小时内实现潜在记忆化。
  • 与输出精确存储序列的标准ELIZA不同，解码器可以轻微修改响应，尽管它仍然要求每个问题都存在相似的条目。

作者指出，虽然该方法展示了速度和内存效率，但当前的限制阻止了扩展到更大的数据集，以完全验证压缩和遗忘缓解的主张。