تناقش اقتراح على Hugging Face مشكلتين مترابطتين في الذكاء الاصطناعي: الاعتماد على تدريب نماذج كبيرة منفصلة واعتماد النظام البيئي على وحدات معالجة الرسومات ذات الأغراض العامة.
- يقترح المؤلف "النمو التدريجي للنموذج"، حيث يتم توسيع النموذج هيكلياً (على سبيل المثال، من 4B إلى 8B) مع الحفاظ على التمثيلات المتعلمة، بدلاً من البدء من الصفر لكل حجم.
- يكمل هذا النهج نقل المعرفة بحجم ثابت، مما يسمح للنماذج بامتصاص قدرات أكثر قبل أن يصبح التوسع الهيكلي ضرورياً.
- لمعالجة قيود العتاد، يقترح المؤلف "ملف تعريف عتاد الذكاء الاصطناعي" للمحول، محدداً مجموعة مستقرة من العمليات الشائعة (مثل GEMM والانتباه) لمصنعي ASIC المتخصصين.
- يجادل الاقتراح بأن إصدارات النماذج يجب أن تقيس مقاييس الكفاءة مثل الرموز لكل جول ومتطلبات الذاكرة alongside عدد المعاملات.
يؤمن المؤلف بأن هذه التغييرات يمكن أن تساعد المستخدمين المحليين للذكاء الاصطناعي على تجاوز حدود VRAM وتزويد مصنعي العتاد بهدف تحسين واضح.