تقدم دراسة جديدة طريقة لتقدير مقدار ما يعرفه النموذج حول نقطة بيانات محددة، بفصل الحفظ غير المقصود عن التعميم بشكل رسمي. يقيس المؤلفون سعة نماذج بأسلوب GPT بحوالي 3.6 بت لكل معلمة ويرصدون أن النماذج تحفظ حتى تمتلئ هذه السعة، مما يُطلق ظاهرة "grokking" عندما تبدأ في التعميم.
- يُعرّف الحفظ غير المقصود بأنه معلومات حول مجموعة بيانات محددة، بينما التعميم هو المعلومات حول عملية توليد البيانات الحقيقية.
- يوفر الحفظ الكلي تقديرًا لسعة النموذج، وقد قيس بحوالي 3.6 بت لكل معلمة للنماذج بأسلوب GPT.
- قام الباحثون بتدريب مئات من نماذج اللغة المحوّلة (transformer) التي تتراوح بين 500 ألف و1.5 مليار معلمة على مجموعات بيانات بأحجام متزايدة.
- تنتج الدراسة قوانين قياس تربط بين سعة النموذج وحجم البيانات والاستدلال على الانتماء.
يعالج هذا العمل صعوبة فصل الحفظ عن التعميم في الدراسات السابقة، مقدمًا إطار عمل أكثر وضوحًا لفهم سعة النموذج وديناميكيات التدريب.