ELIZAチャットボットの新しい実装は、会話エントリを潜在記憶層に格納するためにスパースオートエンコーダアーキテクチャを利用し、従来のキーワードマッチング手法の改善を目指している。このシステムは32,768ニューロンの記憶層を持つT5エンコーダデコーダ構造を採用しており、コントラスト学習によって類似エントリが活性化される。

  • モノセマンティックニューロンを使用しトップk接続のみを活性させることで、対数メモリスケーリング(log(n))と壊滅的忘却に対する強い耐性を実現している。
  • 'naklecha/minecraft-question-answer-700k'データセットの10,000組のQAペアでトレーニングすることで、3時間以内に全エントリの潜在記憶が可能となった。

標準的なELIZAが保存されたシーケンスをそのまま出力するのとは異なり、デコーダは応答をわずかに変更できるが、各質問に対して対応する類似エントリが存在することが依然として必要である。

著者は、このアプローチが速度とメモリ効率を示している一方で、現在の制限によりより大規模なデータセットへのスケーリングが不可能であり、圧縮および忘却緩和の主張を完全に検証できないと述べている。