研究表明，DeepSeek V3 和 Kimi K2 等前沿模型在无内容的填充标记上执行多步推理，且没有可见的思维链。这创造了一个行为监控的极限案例，其中表面标记不包含关于底层推理的任何信息。

  • 注意力机制将问题通过填充区域路由到答案，logit-lens 读数显示早期层进行事实检索，晚期层进行组合。
  • 在填充位置进行的 KV-cache 移植会因果性地交换示例之间的输出。
  • 无监督解码流水线无需 ground-truth 标签或训练，即可在四个任务族中以 80-95% 的准确率恢复中间值。

研究结果表明，可监控性是模型完整计算轨迹的属性，而不仅仅是其表面标记的属性。