ThetaMemは、ゲート機構の微調整ではなく、学習された符号付きハダマール積または外積によるキーリフトを通じて再帰的状態を変更する再帰ミクサーの前段階的な単一シード研究である。著者は合成ベンチマークで混合された結果を示し、アプローチを反証できる最もコストの低い実験を特定するために批判を求めることを明確にしている。
- 4倍の長さ外挿を持つMQARにおいて、ThetaMem(外積)は32倍のコア状態浮動小数点数を使用して0.976のスコアを達成し、GDN-2はより広いキーで0.814を獲得した。
- ThetaMem(ハダマール)は同じベンチマークで0.668のスコアを獲得し、GDN-2の0.567と比較された。
- MADファジーリコールテストでは、ThetaMemはGDN-2よりも劣った(損失0.181対0.323)。
著者は、コア状態が一致した比較がパラメータでマッチしていないことを指摘し、将来の研究において状態、パラメータ、および計算量のマッチングを含むより公平な制御を求めている。