一项理论研究提供了外部工具访问何时增加固定有限精度循环序列模型(如状态空间模型)的计算表达力的精确解释。该研究确立了有限状态工具和无限状态工具对模型能力影响的鲜明二分法。
- 自身为有限状态的工具几乎不增加系统的复杂性,因为任何具有有限内存的有界接口预言机都可以由控制器以最小的额外比特数内部化。
- 单个最小化的无限状态工具,特别是支持局部读取、写入和移动命令的磁带,使增强后的系统具有图灵完备性。
- 该研究展示了一个指数级分离:在没有工具的情况下解决 EQ_n 需要 2^n 个状态,但使用磁带工具时仅需一个常数大小的控制器。
- 这种图灵完备结构恰好由一个自然的单层有限精度选择性仿射 SSM 控制器实现,其具有二进制 one-hot 隐藏状态和选择性。
作者证明了 O(log B) 个循环比特足以模拟任何具有 B 个状态的图灵机,确立了这种能力增强所需的能力及具体架构要求。