github llama.cpp · الآن · inference

يصلح llama.cpp b10792 توليد قواعد GBNF لمخططات الكائنات الفارغة

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10792، والذي يتضمن إصلاحًا لتوليد قواعد GBNF يعالج بشكل خاص مشكلات مخططات الكائنات الفارغة.

يوفر هذا الإصدار ملفات ثنائية وأطر عمل لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (Ubuntu x64، arm64، s390x)، و Android، و Windows، و openEuler عبر خلفيات عتادية مختلفة تشمل CPU، و CUDA، و Vulkan، و ROCm، و OpenVINO، و SYCL، و OpenCL.

يضمن التحديث توليد القواعد بشكل صحيح لمخططات الكائنات الفارغة في GBNF.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

llama.cpp b10791 يضيف تحسينات OpenCL لتكميم lm_head و GEMV في الترميز

أصدر مشروع llama.cpp الإصدار b10791، الذي يقدم تحسينات كبيرة لـ OpenCL لرؤوس نماذج اللغة المكمّمة وعمليات GEMV في الترميز. يتضمن هذا التحديث أيضًا تحسينات لـ GEMM بمتوسط الدُفعات ذات الصلة بالترميز التخميني والتنبؤ بعدة رموز.

github llama.cpp · منذ 2 ساعة · مشاهدة واحدة

يقوم llama.cpp b10790 بضبط العبور من MMVQ إلى MMQ لـ SM87

أصدر مشروع llama.cpp الإصدار b10790، والذي يتضمن ضبطًا محددًا للعبور من MMVQ إلى MMQ لـ SM87.

media r/LocalLLaMA · منذ 7 ساعة · مشاهدة واحدة

IFM تطلق K2-Horizon-MoVA-36B-A4B، نموذج MoE متناثر مع 4B معلمة نشطة

أطلقت IFM النقطة المرجعية النهائية لـ K2-Horizon-MoVA-36B-A4B، وهو نموذج Mixture-of-Experts يتميز بانتباه Mixture-of-Values ويخزن 36B من المعلمات ولكن يشغل فقط 4B لكل توكن. يتضمن الإصدار تنسيقات GGUF وروابط إلى متغيرات أصغر في عائلة K2-Horizon.

github llama.cpp · منذ 9 ساعة · مشاهدتان

يضيف llama.cpp دعم الانتباه المتقطع السريع لمرحلة الحشو في Metal

أطلق مشروع llama.cpp دعم الانتباه المتقطع السريع (FA) للخلفية البرمجية Metal، مستهدفاً بشكل خاص مرحلة الحشو في استنتاج النموذج. يتضمن هذا التحديث نواة جديدة تضغط إدخالات القناع المحدودة في قوائم مؤشرات لكل صف، وتوسع نواة FA المتجه بإضافة تجميع مؤشرات متقطعة اختياري.

github llama.cpp · منذ 10 ساعة · مشاهدتان

إصلاح llama.cpp b10782 لتحسين رسوم بيانية لـ CUDA على عدة وحدات معالجة رسومية

أصدر مشروع llama.cpp الإصدار b10782، الذي يعالج مشكلة حرجة في الخلفية (backend) الخاصة بـ CUDA لإعدادات وحدات المعالجة الرسومية المتعددة. يتيح التحديث تدفقات متزامنة لكل تقسيم ويمكّن تحسين الرسوم البيانية لـ CUDA من العمل بشكل صحيح عبر أجهزة متعددة.