शोधकर्ताओं ने Llama-3.1-70B-Instruct में एक «काउंटडाउन सबसर्किट» की पहचान की जो भाषा मॉडलों को विभिन्न कार्यों, जैसे कि निश्चित लंबाई के वाक्य लिखने या टेबल फॉर्मेट करने में शेष टोकन को ट्रैक करने में सक्षम बनाता है।
अध्ययन ने नियंत्रित सेटिंग में इस तंत्र को अलग किया और पाया कि यह अन्य प्रमुख LLMs में पहले खोजे गए एक समान मोटिफ का उपयोग करता है, जो संकेत देता है कि संरचना मॉडल के बीच साझा है। प्राकृतिक भाषा डेटासेट पर अनसुपervised प्रोबिंग से पता चलता है कि सबसर्किट उन कार्यों को संभालता है जहाँ लक्ष्य लंबाई संदर्भ से अनुमानित की जाती है, न कि स्पष्ट रूप से बताई जाती है।
यह कार्य दिखाता है कि सबसर्किट का रिवर्स-इंजीनियरिंग विशिष्ट व्यवहारों को एकल उदाहरणों से विविध कार्यों और अलग-अलग मॉडल तक कैसे सामान्यीकृत होता है, इसकी व्याख्या करने में मदद करता है।