한 독립 연구자가 역전파 없이 추론 중에 미학습 규칙을 설치하고 적용하기 위해 훈련된 고속 가중치 메모리 뱅크를 사용하는 3.08M 파라미터 DeepSeek 스타일 트랜스포머를 상세히 설명한 사전 논문을 공개했습니다. 이 모델은 자신의 순전파 출력을 8개 슬롯 벡터 뱅크에 기록하고, 이를 하이퍼네트워크를 통해 가중치로 읽음으로써 테스트 타임 학습(TTT), 옵티마이저, 또는 확장되는 컨텍스트 없이 추론 시 지속적 학습을 가능하게 합니다. 주요 발견 사항은 다음과 같습니다:

  • 단일 13토큰 제시만으로 미학습 규칙을 설치하여 보이지 않는 쿼리에 대해 0.79–1.00의 정확도를 보였으며, 슬롯 교체에도 견디고 대화 중 교체 시 이전 규칙의 잔존 없이 작동합니다.
  • 테스트 타임 학습은 적응 예시(0.99)에 적합하지만, 규칙 업데이트당 비용이 138배 증가하는 가운데 보이지 않는 쿼리에는 전혀 전이되지 않으며, 윈도우 내 인컨텍스트 학습은 chance 수준에 머무릅니다.
  • 메모리 정책은 훈련 분포에 의해 결정됩니다: 훈련 중 대화 구조를 무작위화하면 필요한 유지/덮어쓰기/더티 시 쓰기 동작이 설치되지만, 고정된 구조는 완전한 고착화를 초래합니다.

본 연구는 읽기/쓰기 회로를 깨뜨리기 위해 교사 강제 부트스트랩 및 어닐링과 같은 특정 훈련 기술이 필요함을 강조하며, 결합 그래디언트가 뱅크를 무시하는 고정점을 갖기 때문입니다. 단일 RTX 3090에서 세 번의 5시간 훈련 실행을 포함한 모든 실험은 제공된 코드와 Zenodo DOI를 통해 완전히 재현 가능합니다.