المصدر · llama.cpp
github llama.cpp · منذ 15 ساعة · مشاهدة واحدة

دمج llama.cpp b10427 لعمليات FFN عبر SYCL لتحقيق زيادة في الإنتاجية تصل إلى 12.4%

أصدر مشروع llama.cpp الإصدار b10427، الذي يتضمن تحسينًا للأداء لوحات Intel Arc الرسومية عبر SYCL. يطبق التحديث دمج عمليات gate و up و GLU داخل طبقة الشبكة العصبية الأمامية الكثيفة (FFN) من نوع q4_K.

github llama.cpp · منذ 1 يوم · 7 مشاهدات

يضيف llama.cpp b10408 نواة ESIMD Q3_K وينقل التحكم إلى وقت التشغيل

أصدر مشروع llama.cpp الإصدار b10408، الذي يقدم نواة DMMV Q3_K ESIMd لبطاقات Intel الرسومية. يتضمن هذا الإصدار أيضًا نوادر ESIMD الجديدة Q4_K وQ6_K ويعيد هيكلة قاعدة الكود للسماح بالتحكم في ESIMD في وقت التشغيل بدلاً من وقت الترجمة.

github llama.cpp · منذ 4 يوم · 4 مشاهدات

تحديثات llama.cpp b10356 ترقّي ROCm إلى 7.14 وتضيف دعم CUDA 13 لنظام ويندوز

أصدر مشروع llama.cpp الإصدار b10356، الذي يستهدف بشكل أساسي بنية البناء من خلال تحويل الخلفية ROCm من الإصدار 7.2.1 إلى 7.14. يتوافق هذا التحديث مع كون ROCm 7.14 هو أول إصدار إنتاجي يستخدم نظام البناء TheRock ويتضمن ترحيل مهام CI لاستخدام عجلات متعددة البنى لكل من لينكس وويندوز.

github llama.cpp · منذ 4 يوم · 4 مشاهدات

llama.cpp b10355 يضيف أخذ عينات للخلفية متعددة المخرجات مع تخمين الرموز

أصدر مشروع llama.cpp الإصدار b10355، مدعومًا بدعم لأخذ العينات للخلفية متعددة المخرجات. يتيح هذا التحديث الجمع بين أخذ العينات للخلفية وتخمين الرموز ويضيف معلمة سياق رقمية للإعلان عن الحد الأقصى للمخرجات لكل تسلسل.

github llama.cpp · منذ 4 يوم · 9 مشاهدات

يصلح llama.cpp b10353 النتائج الخاطئة الصامتة في نوى ROLL الخاصة بـ CUDA و Metal

أصدر مشروع llama.cpp الإصدار b10353، الذي يعالج خطأً حرجًا في عملية ggml_roll على خلفيات CUDA و Metal. سابقًا، كانت موترات المصدر المُبدَّلة (غير المتصلة) تنتج نتائج خاطئة بصمت لأن هذه الخلفيات تتجاهل معلومات الخطوة.