حدد الباحثون "دائرة فرعية للعد التنازلي" في Llama-3.1-70B-Instruct تتيح لنماذج اللغة تتبع الرموز المتبقية عبر مهام متنوعة، مثل كتابة جمل بطول ثابت أو تنسيق الجداول.
عزلت الدراسة هذه الآلية في بيئة خاضعة للرقابة ووجدت أنها تستخدم نمطاً مطابقاً تم اكتشافه سابقاً في نماذج LLM المتقدمة الأخرى، مما يشير إلى أن هذا الهيكل مشترك عبر النماذج. يكشف المسح غير الخاضع للإشراف على مجموعات بيانات اللغة الطبيعية عن أن الدائرة الفرعية تعالج المهام التي يتم فيها استنتاج الأطوال المستهدفة من السياق بدلاً من ذكرها صراحةً.
توضح هذه الدراسة أن الهندسة العكسية للدوائر الفرعية تساعد في شرح كيفية تعميم سلوكيات محددة من أمثلة فردية إلى مهام متنوعة ونماذج مختلفة.