تتحدى دراسة جديدة الاعتماد على الدقة والتشوش (perplexity) لتقييم التكمية بعد التدريب في نماذج اللغة الكبيرة، مُظهرةً أن هذه المقاييس تفشل في التقاط تغييرات سلوكية كبيرة. يقدم المؤلفون "اتفاقية الصحة"، وهو مقياس على مستوى القرار يقيس تداخل التوقعات بين النماذج الأساسية والمكمّاة، وكشفوا أن الانحراف السلوكي يظهر تحت التكمية المعتدلة حتى عندما يبدو أداء المهمة محفوظًا.
- تحليل التكمية كمشغل هيكلي على أوزان الانتباه يُحدد نقاط تحول غير خطية عند عرض بت منخفض.
- وُجد أن إسقاطات الاستعلام والمفتاح أكثر حساسية للتشوه بشكل متسق مقارنة بإسقاطات القيمة والإخراج.
- تغطي الدراسة نماذج متعددة ومخططات تكمية تتراوح من 8 بت إلى 2 بت.
تكشف هذه النتائج عن وهم التكافؤ بين النماذج الأساسية والمكمّاة، مما يحفز اعتماد مقاييس تقييم السلوك بما يتجاوز مقاييس الأداء التقليدية.