Peneliti mengidentifikasi "sub-sirkuit hitung mundur" dalam Llama-3.1-70B-Instruct yang memungkinkan model bahasa melacak token yang tersisa di berbagai tugas, seperti menulis kalimat dengan panjang tetap atau memformat tabel.
Studi ini mengisolasi mekanisme tersebut dalam pengaturan terkontrol dan menemukan bahwa ia menggunakan motif yang sama yang sebelumnya ditemukan pada LLM terdepan lainnya, yang menunjukkan bahwa struktur ini dibagikan antar model. Probing tanpa pengawasan pada dataset bahasa alami mengungkapkan bahwa sub-sirkuit menangani tugas-tugas di mana panjang tujuan disimpulkan dari konteks daripada dinyatakan secara eksplisit.
Karya ini menunjukkan bahwa rekayasa balik sub-sirkuit membantu menjelaskan bagaimana perilaku tertentu digeneralisasi dari contoh tunggal ke berbagai tugas dan model yang berbeda.