يضيف llama.cpp b10032 دعم GGML_OP_LIGHTNING_INDEXER لـ CUDA

أصدر مشروع llama.cpp الإصدار b10032، الذي يقدم تنفيذًا جديدًا لـ CUDA لعملية GGML_OP_LIGHTNING_INDEXER. يتضمن هذا التحديث نوى متجهات عامة ونوى WMMA للتعامل مع مهام الفهرسة على عتاد NVIDIA.

• يستخدم مُفهرس البرق الخاص بـ CUDA نوى المتجهات العامة وWMMA.
• تمت إضافة المعلمات القالبية WARPS_PER_BLOCK وK_VECS_PER_BLOCK لتقليل تكرار الثوابت.
• تم تخفيف متطلبات بنية MMA لدعم وحدات GPU من نوع Turing.
• تمت إضافة فحوصات المحاذاة لمصفوفات Q وK إلى التنفيذ.
• تم إعادة تسمية الدالة ggml_cuda_op_lightning_indexer إلى ggml_cuda_lightning_indexer.

يوفر هذا الإصدار ملفات ثنائية لأنظمة macOS وLinux وWindows وAndroid وopenEuler عبر وحدات المعالجة المركزية، وCUDA، وVulkan، وROCm، وOpenVINO، وSYCL، وغيرها من الخلفيات.