يقوم باحث بإجراء دراسة لتقييم حدود الذاكرة لنماذج لغوية صغيرة للذكاء الاصطناعي (من 100 مليون إلى 3 مليار معلمة) لمهام الاسترجاع وإعادة البناء، بهدف تحديد النماذج المناسبة لأجهزة الكمبيوتر المحمولة ذات المواصفات المنخفضة. تركز الدراسة بشكل خاص على مقارنة ثلاثة نماذج من Qwen2.5: 0.5B و1.5B و3B.
- كانت أداء الذاكرة للاسترجاع متشابهًا نسبيًا عبر أحجام النماذج الثلاثة.
- أظهرت نتائج الذاكرة لإعادة البناء اتجاهًا غير متوقع حيث كان النموذج الأكبر، Qwen2.5-3B، هو الأسوأ أداءً.
- أظهر نموذج 3B انخفاضًا حادًا بشكل ملحوظ في أداء إعادة البناء مع زيادة معلومات الإدخال مقارنة بنموذجي 1.5B و0.5B.
يطالب المؤلف بملاحظات حول تحليلات إضافية أو فحوصات منهجية للتحقق مما إذا كانت هذه النتيجة المضادة للبديهة موضوعية وليست خطأً تجريبيًا.