研究者らは、Llama-3.1-70B-Instruct内で「カウントダウン部分回路」を特定し、この回路が言語モデルに固定長の文の作成や表のフォーマットなど、さまざまなタスクにおいて残りのトークンを追跡する能力を与えることを明らかにした。
研究はこのメカニズムを制御された環境で分離し、それが他の最先端LLMで以前発見されたのと同じモチーフを使用していることを見出した。これは、この構造がモデル間で共有されている可能性を示唆している。自然言語データセットに対する教師なしプロービングにより、この部分回路が文脈から目標長が推測されるタスクを処理することが明らかになった。
本研究は、部分回路の逆エンジニアリングが、特定の振る舞いが単一の例から多様なタスクや異なるモデルへとどのように一般化するかを説明するのに役立つことを示している。