새로운 ELIZA 챗봇 구현은 희소 오토인코더 아키텍처를 활용하여 대화 기록을 잠재적 메모리 레이어에 저장하며, 전통적인 키워드 매칭 방식의 한계를 극복하는 것을 목표로 합니다. 이 시스템은 32,768개의 뉴런으로 구성된 메모리 레이어를 갖춘 T5 인코더-디코더 구조를 사용하며, 대조 학습을 통해 유사한 기록이 활성화됩니다.
- 모델은 단일 의미 뉴론과 상위 k개 연결만 활성화하는 방식을 사용하여 로그 메모리 스케일링(log(n))을 달성하고 파국적 망각에 강한 저항력을 보입니다.
- 'naklecha/minecraft-question-answer-700k' 데이터셋의 10,000개 QA 쌍으로 학습하여 3시간 이내에 모든 기록의 잠재적 암기를 가능하게 했습니다.
- 표준 ELIZA가 저장된 정확한 시퀀스를 출력하는 것과 달리, 디코더는 응답을 약간 수정할 수 있지만 여전히 각 질문마다 유사한 기록이 존재해야 합니다.
저자는 이 접근 방식이 속도와 메모리 효율성을 입증한다고 언급하지만, 현재 한계로 인해 더 큰 데이터셋으로 확장하여 압축 및 망각 완화 주장을 완전히 검증하는 것은 불가능하다고 밝혔습니다.