研究人员在 Llama-3.1-70B-Instruct 中识别出一个“倒计时子电路”，使语言模型能够在各种任务中跟踪剩余令牌，例如编写固定长度的句子或格式化表格。

该研究在受控环境中隔离了此机制，发现它使用了此前在其他前沿 LLM 中发现的相同模式，表明该结构在不同模型间是共享的。对自然语言数据集的无监督探测显示，该子电路处理的目标长度是从上下文中推断出来的，而非明确说明。

这项工作表明，逆向工程子电路有助于解释特定行为如何从单个示例泛化到多样化的任务和不同的模型。