github llama.cpp · منذ 2 ساعة · inference

إصلاح llama.cpp b10107 لانهيار ويندوز وتوفير ثنائيات لمنصات متعددة

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10107، والذي يتضمن إصلاحًا لانهيار في نظام ويندوز يحدث عند تفعيل ميزة op_poll.

يحل مشكلة الانهيار على ويندوز عندما يكون op_poll نشطًا (PR #26029).
يوفر ثنائيات جاهزة لأنظمة macOS (Apple Silicon و Intel)، Linux (Ubuntu x64، arm64، s390x مع CPU، Vulkan، ROCm 7.2، OpenVINO، SYCL)، Android (arm64)، Windows (CPU، OpenCL Adreno، CUDA 12/13، Vulkan، OpenVINO، SYCL، HIP)، و openEuler.
يعطل دعم KleidiAI لـ Apple Silicon على macOS في هذا الإصدار.

يضمن هذا التحديث الاستقرار على أنظمة ويندوز التي تستخدم op_poll مع الاستمرار في تقديم دعم شامل للأجهزة عبر أنظمة التشغيل الرئيسية والمسرعات.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

llama.cpp b10105 يعيد هيكلة mlock/mmap/directio إلى وسيط وضع تحميل واحد

أصدر مشروع llama.cpp الإصدار b10105، الذي يقدم إعادة هيكلة كبيرة لواجهة سطر الأوامر من خلال دمج أعلام إدارة الذاكرة المنفصلة في وسيط `load-mode` موحد.

github llama.cpp · منذ 17 ساعة

llama.cpp b10099 يحسن كمي NVFP4 W4A4 على CUDA

أصدر مشروع llama.cpp الإصدار b10099، والذي يتضمن تحديثًا كبيرًا لخلفية CUDA لتحسين كمي التنشيط NVFP4 W4A4.

github llama.cpp · منذ 19 ساعة

تحديث llama.cpp b10098 لعمليات تنشيط Hexagon

أصدر مشروع llama.cpp الإصدار b10098، والذي يتضمن تحديثًا لعمليات تنشيط Hexagon. يوفر هذا الإصدار ملفات ثنائية لأنظمة macOS و Linux و Android و Windows و openEuler عبر خلفيات مختلفة لوحدة المعالجة المركزية ووحدة معالجة الرسومات.

media Together AI Blog · منذ 21 ساعة

تويذر تطلق استنتاج النماذج المخصصة مع تجريبي التدريب المخصص

أطلقت تويذر تحديثاً مهماً لمنصة الاستنتاج لديها، مقدمةً ميزة "استنتاج النماذج المخصصة" المصممة لمنح المستخدمين تحكماً كاملاً في الأداء والتكلفة والجودة للنماذج ذات الأوزان المفتوحة. كما يعلن التحديث عن تجريبي مغلق لقدرات التدريب المخصص، بما في ذلك التعلم المعزز بالأوزان الكاملة وLoRA.

github llama.cpp · منذ 22 ساعة · مشاهدة واحدة

يستنتج llama.cpp الإصدار b10094 نوع التخمين من جانب sidecars لمستودع المسودة

أصدر مشروع llama.cpp الإصدار b10094، الذي يقدم ميزة تكتشف تلقائياً نوع فك التشفير التخميني من sidecars مستودع المسودة. سابقاً، عند استخدام العلم `-hfd` للإشارة إلى مستودع يحتوي على sidecars من نوع mtp- أو dflash- أو eagle3- دون تحديد `--spec-type` صراحةً، كان النظام يحل المسودة بشكل غير صحيح كنموذج كامل.