llama.cpp b9931 يضيف تحسين prefill لـ MoE ذو البلاط غير المنتظم باستخدام OpenCL

يُقدم إصدار llama.cpp b9931 تحسينًا لـ OpenCL لـ prefill الخاص بـ Mixture of Experts (MoE) يتخطى بلاطات الخبراء المُعبأة لتحسين الأداء.

• تجمع التحسينات الرموز في بلاطات لكل خبير بحجم TILESIZE_N=32 وتتخطى النصف الثاني من dotx16_reduce8 عندما تكون 16 فتحة علوية للبلاطة كلها تعبئة.
• تستبدل هذا استدعاءين لـ dotx16_reduce8 لنصف البلاطة بأربعة استدعاءات لـ dotx8_reduce4، مما يسمح بتخطي مستقل لمجموعات التخطي الفارغة في النهاية.
• يتم التحكم في الميزة بواسطة متغير البيئة GGML_OPENCL_MOE_RAGGED_GRAN، الذي يقبل القيم 8 أو 16 أو 32 للدقة ربع أو نصف أو إيقاف على التوالي.
• يتضمن الإصدار ملفات ثنائية لـ macOS (Apple Silicon وIntel)، Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، Android، Windows (CPU، CUDA، Vulkan، OpenVINO، SYCL، HIP)، وopenEuler.

يتيح هذا التحسين للمستخدمين تقليل الحساب على البيانات المُعبأة في نماذج MoE عبر إعدادات متغير البيئة الجديدة.