ThetaMem은 재귀적 혼합기(recurrent mixer)에 대한 초기 단일 시드 연구로, 게이트 메커니즘을 정교화하는 대신 학습된 부호 있는 하다마르 또는 외적(key lifts)을 통해 재귀 상태를 수정합니다. 저자는 합성 벤치마크에서 혼합된 결과를 제시하며, 접근 방식을 반증할 수 있는 가장 저렴한 실험을 식별하기 위해 비판을 명시적으로 구합니다.
- 길이 4배 외삽이 적용된 MQAR에서 ThetaMem(외적)은 코어 상태 부동소수점 32배를 사용하여 0.976의 점수를 달성한 반면, 더 넓은 키를 사용한 GDN-2는 0.814점을 받았습니다.
- ThetaMem(하다마르)은 동일한 벤치마크에서 0.668점을 받았으며, 이는 GDN-2의 0.567점과 비교됩니다.
- MAD 퍼지 회상 테스트에서 ThetaMem은 GDN-2보다 더 낮은 성능을 보였습니다 (손실 0.181 대 0.323).
저자는 코어 상태가 일치하는 비교들이 매개변수가 일치하지 않았다고 지적하며, 향후 연구에서는 상태, 매개변수 및 연산량을 일치시키는 더 공정한 통제를 요구합니다.