연구자들은 Llama-3.1-70B-Instruct에서 "카운트다운 서브서킷"을 확인했으며, 이는 언어 모델이 고정 길이 문장 작성이나 표 포맷팅과 같은 다양한 작업에 걸쳐 남은 토큰을 추적할 수 있게 합니다.
연구는 통제된 환경에서 이 메커니즘을 분리해냈으며, 이것이 다른 최첨단 LLM에서 이전에 발견된 것과 동일한 모티프를 사용한다는 것을 발견했습니다. 이는 해당 구조가 모델 간에 공유되고 있음을 시사합니다. 자연어 데이터셋에 대한 비지도 프로빙은 이 서브서킷이 목표 길이가 명시적으로 제시되지 않고 문맥에서 추론되는 작업을 처리함을 보여줍니다.
이 연구는 서브서킷의 역엔지니어링이 특정 동작이 단일 예시에서 다양한 작업 및 다른 모델로 어떻게 일반화되는지를 설명하는 데 도움이 됨을 입증합니다.