一项研究表明，大型语言模型维持着对其剩余响应长度的内部估计，该估计可以从冻结的隐藏状态中解码。研究人员在七个补全风格的数据集上对三个具有7-8B参数的开源权重模型训练了最小容量的线性探针，以调查这一现象。
- 总响应长度可以在生成任何输出之前，从提示词的最后一个隐藏状态中进行线性解码。
- 探针方向广泛迁移到受控的合成补全中，优于统计基线。
- 在高损失补全中，当模型撤回并重新启动解决方案时，探针的估计值会上移。
研究结果表明，LLM维持着一种类似计划的输出长度内部表示，这与变压器模型无法精确计数的结果不同。