github llama.cpp · منذ 4 يوم · inference

إصلاح llama.cpp b11047 لتلف CUB argsort على CUDA

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b11047، والذي يتضمن إصلاحًا حرجًا لتلف CUB argsort الناتج عن المفاتيح in-place. نشأت المشكلة لأن `argsort_f32_i32_cuda_cub` استدعى `DeviceRadixSort::SortPairs` مع مخازن مفاتيح الإدخال والإخراج المتشابهة، مما تسبب في أن يقوم ping-pong مزدوج المخزن الداخلي لـ CUB بكتابة فوق مدخلاته الخاصة أثناء المرور.

أدى هذا الخطأ إلى تلف التباديل وفهارس عشوائية متقطعة، خاصة على وحدات GPU من نوع Maxwell مع CUDA 12.5 و CCCL 2.x، مما أدى لاحقًا إلى استدعاء عمليات gather خارج الحدود في عمليات `get_rows` اللاحقة. يضمن الإصلاح أن جميع مواقع الاستدعاء الستة (plain و segmented، ascending و descending، size-query و execute) تستخدم مخازن مفاتيح keys-out مميزة.

يوفر الإصدار ملفات ثنائية لـ macOS و Linux و Android و Windows و openEuler عبر backends CPU و CUDA و ROCm و Vulkan و OpenVINO و SYCL و OpenCL.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Hugging Face Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · الآن · مشاهدة واحدة مباشر

llama.cpp b11122 يوسع دمج MMVQ GLU ويضيف دمجات SYCL جديدة

أطلق مشروع llama.cpp الإصدار b11122، والذي يتضمن تحديثات كبيرة للخلفية SYCL. يوسع هذا الإصدار دمج MMVQ GLU لدعم أنواع الكم المختلطة ويقدم دمجات جديدة لعمليات rms_norm+scale و ssm_conv+silu.

github llama.cpp · منذ 14 ساعة · 11 مشاهدة

llama.cpp b11111 يضيف نوى تحسين انتباه فلاش لـ Intel Xe

أصدر مشروع llama.cpp الإصدار b11111، الذي يقدم نوى تحسين انتباه فلاش المستندة إلى Vulkan لمسارات split k في بنية Xe-LPG Plus وXe2 وXe3.

github llama.cpp · منذ 17 ساعة · 9 مشاهدات

إضافة llama.cpp دعم DFlash لـ HunyuanOCR وإصلاح تحويل المسودة

أضاف مشروع llama.cpp دعمًا لفك التشفير التخميني (speculative decoding) الخاص بـ DFlash مع نموذج HunyuanOCR من خلال كشف موترات إدخال الطبقة في الرسم البياني المستهدف. يسمح هذا التغيير لنموذج المسودة بقراءة تدفقات الباقي، مما يتيح تنفيذ طلبات الصور بنجاح بمعدل قبول مسودة يبلغ حوالي 0.5 وإخراج OCR مطابق تمامًا للبايت مقارنة بالعمليات غير التخمينية.

github llama.cpp · منذ 20 ساعة · 11 مشاهدة

إصدار llama.cpp b11101 يسمح باستدعاءات find_package المتكررة لمكتبة llama

أصدر مشروع llama.cpp الإصدار b11101، الذي يتضمن إصلاحًا لنظام البناء يسمح باستدعاءات find_package المتكررة لمكتبة llama.

lab Hugging Face Blog · منذ 21 ساعة · 10 مشاهدات

إضافة مكتبة Transformers دعمًا لتنسيق GGUF عبر نوى ggml للاستدلال المحلي

تدعم الآن مكتبة Transformers التابعة لـ Hugging Face تحميل النماذج المُكمّمة بتنسيق GGUF، مستفيدةً من نوى ggml الأساسية لتحقيق أداء يقترب من llama.cpp. يتيح هذا التكامل للمطورين تشغيل نقاط التفتيش المُكمّمة مباشرةً داخل واجهة برمجة التطبيقات القياسية المعتمدة على PyTorch على الأجهزة المدعومة.