أصدرت مكتبة MLX الإصدار 0.32.1، مقدمةً دعمًا لبعد رأسي يبلغ 72 ضمن تنفيذ الانتباه الكامل لـ Metal.
- يتيح التحديث استخدام البعد الرأسي 72 في الانتباه الكامل لـ Metal عبر طلب السحب #4330.
github
MLX
·
منذ 2 ساعة
·
inference
MLX v0.32.1 يضيف دعم البعد الرأسي 72 في الانتباه الكامل لـ Metal
مُترجم من English → العربية
مقالات ذات صلة
media
r/LocalLLaMA
·
منذ 14 يوم
·
24 مشاهدة
يستخدم AFM3 20B من Apple تقليم اتباع التعليمات لتفعيل حوالي 20% من الطبقات
أطلقت Apple بنية جديدة لنماذجها الأساسية من الجيل الثالث (AFM3) تستخدم "تقليم اتباع التعليمات" لتقليل عدد المعاملات النشطة بشكل كبير. تم تصميم النموذج لتفعيل حوالي 20% من طبقات MLP الخاصة به عن طريق اتخاذ قرارات التوجيه مرة واحدة لكل طلب بدلاً من كل توكن.
media
r/LocalLLaMA
·
منذ 34 يوم
·
10 مشاهدات
آبل تتفاوض مع شركة بريزم إل إيه (PrismML) الناشئة لتصغير نماذج الذكاء الاصطناعي لتشغيلها على آيفون
تجري آبل حالياً محادثات مع الشركة الناشئة بريزم إل إيه (PrismML) بشأن تقنية تضغط نماذج الذكاء الاصطناعي لنشرها على أجهزة آيفون.
github
MLX
·
منذ 41 يوم
·
11 مشاهدة
إصلاح MLX v0.32.0 لتدرجات conv2 في حالة التجميع المتقطع على Metal
أصدرت مكتبة MLX الإصدار 0.32.0، الذي يعالج خطأً محدداً في الخلفية (backend) الخاصة بـ Metal.
arxiv
arXiv cs.CL
·
منذ 44 يوم
·
مشاهدة واحدة
BaseRT تقدم أفضل أداء لاستدلال النماذج اللغوية الكبيرة على شرائح Apple Silicon عبر Metal الأصلي
يقدم الباحثون BaseRT، وهو وقت تشغيل للاستدلال باستخدام Metal الأصلي للنماذج اللغوية الكبيرة على شرائح Apple Silicon، يحقق أعلى معدل استدلال مُبلغ عنه حتى الآن. ومن خلال الاستفادة من دمج النوى الخاص بالشريحة والتحسين الواعي للذاكرة الموحدة، يتغلب على الحمل الزائد الموجود في الأطر الحالية مثل llama.cpp وMLX.
lab
Hugging Face Blog
·
منذ 8 ساعة
مُخصِّص وحدة معالجة الرسومات الواعي بالقيود يحسّن الاستغلال والإخراج المرجّح بالأولوية على قائمة الانتظار الأولى
تم تقييم مُخصِّص وحدة معالجة الرسومات الواعي بالقيود مقابل مجدول قائمة الانتظار الأولى عبر سبعة سيناريوهات، محققاً زيادة تصل إلى 33 نقطة مئوية في استغلال وحدة معالجة الرسومات و105% أكثر من الإخراج المرجّح بالأولوية على نفس العتاد. يعالج النظام طلب الاستدلال في الوقت الفعلي كمنحنٍ متذبذب بدلاً من حجز ثابت، مما يسمح للوظائف الشبيهة بالحزم بملء السعة خلال فترات الانخفاض مع احترام القيود الصارمة مثل كتل وحدة معالجة الرسومات المتصلة وعدم إمكانية الإيقاف المؤقت.