ThetaMem是一项初步的、单种子研究,针对一种循环混合器,该混合器通过学习到的带符号Hadamard或外积键提升来修改循环状态,而非优化门控机制。作者在合成基准上呈现了混合结果,并明确寻求批评以找出能够证伪该方法的最便宜实验。
- 在MQAR的4倍长度外推中,ThetaMem(外积)使用32×核心状态浮点数取得了0.976的得分,而GDN-2使用更宽的键得分为0.814。
- ThetaMem(Hadamard)在同一基准上的得分为0.668,相比之下GDN-2为0.567。
- 在MAD模糊召回测试中,ThetaMem的表现不如GDN-2(损失值为0.181对比0.323)。
作者指出,核心状态匹配的对比并非参数匹配,并呼吁在未来的工作中采用涉及状态、参数和计算量匹配的更公平控制。