تقدم إصدار llama.cpp b10236 تنفيذًا لـ DSv4 Lightning Indexer باستخدام تقنية Metal، ويدعم بشكل خاص المدخلات ذات الأبعاد 128 مع استعلامات وأوزان F32 جنبًا إلى جنب مع المفاتيح والأقنعة F16.
- تتضمن التحديث نوى مصفوفة ونهاية للتعامل مع أطوال KV القريبة من حدود العناصر 8 و 64.
- يتم تخزين K tiles وفك تكميمها في ذاكرة مجموعة الخيوط F16 قبل تحميل مصفوفات simdgroup، مما يدعم تنسيقات F32 و F16 و BF16 وأنواع التكميم المختلفة.
تُظهر المقاييس تحسنًا في معدل الاستيفاء المسبق (pp512) عند أطوال تسلسل 10k و 20k و 30k توكن مقارنة بالإصدارات السابقة.
يعزز هذا التحسين أداء الاستدلال على أجهزة Apple Silicon من خلال تحسين أنماط الوصول إلى الذاكرة لـ Lightning Indexer.