github llama.cpp · منذ 1 ساعة · inference

llama.cpp b10326 يأخذ في الاعتبار تمرير المولد الصوتي في التوقيتات

مُترجم من English → العربية

أصدر مشروع llama.cpp الإصدار b10326، الذي يعدل كيفية حساب قياسات التوقيت من خلال تضمين تمرير المولد الصوتي.

يضمن التحديث أن `get_output` يعمل على عمل الموجة المؤجل بواسطة خط الأنابيب، وقياسه من نافذة ذيلية واحدة إلى تمرير كامل اعتمادًا على النموذج.
يحافظ هذا التغيير على دقة الوقت الإجمالي المبلغ عنه ونسبة الصوت إلى المعالجة.
تتوفر الملفات الثنائية لأنظمة macOS (Apple Silicon و Intel)، و iOS، و Linux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، و Android، و Windows (CPU، OpenCL، CUDA 12/13، Vulkan، OpenVINO، SYCL، HIP)، و openEuler.

تحسن التعديل مصداقية مقاييس الأداء من خلال ضمان احتساب عبء معالجة الصوت بشكل صحيح في التوقيتات المبلغ عنها.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · منذ 1 ساعة مباشر

إصلاحات llama.cpp b10321 لعمليات NORM/RMS_NORM لأطوال الصفوف الجزئية في simdgroup

أصدر مشروع llama.cpp الإصدار b10321، الذي يتضمن إصلاحًا حاسمًا لعمليتي GGML_OP_NORM وGGML_OP_RMS_NORM على Metal. يحل التحديث مشكلة كانت تؤدي فيها مجموعات الخيوط ذات الأحجام التي تترك مجموعة SIMD جزئية إلى حسابات غير صحيحة للوسيط والتباين بسبب فقدان المجاميع الجزئية.

github llama.cpp · منذ 2 ساعة

يقوم llama.cpp b10322 بدمج تحميلات نافذة SSM_CONV لتسريع بنسبة ~1.85x

أصدر مشروع llama.cpp الإصدار b10322، والذي يتضمن تحسينًا للأداء يدمج تحميلات نافذة SSM_CONV في الخلفية SYCL.

github llama.cpp · منذ 4 ساعة

يضيف llama.cpp b10313 مجدول LRU إلى الخادم

أصدر مشروع llama.cpp الإصدار b10313، الذي يقدم مجدول الاستخدام الأقل مؤخراً (LRU) لمكون الخادم الخاص به. يتضمن هذا التحديث التعامل مع تجميع الطلبات وإصلاحات لحالات البث.

github llama.cpp · منذ 5 ساعة

إصلاح llama.cpp b10311 لتكرار تدفق نص Qwen3-TTS

أصدر مشروع llama.cpp الإصدار b10311، والذي يتضمن إصلاحًا لخط أنابيب Qwen3-TTS. يحل التحديث مشكلة حيث كان النموذج يقرأ العبارة المدخلة مرتين أثناء التوليد.

github llama.cpp · منذ 6 ساعة

إصدار llama.cpp b10312 مع إصلاح للخادم للنماذج المزدحمة

أطلق مشروع llama.cpp الإصدار b10312، والذي يتضمن تحديثاً محدداً لمكون الخادم. يعالج التغيير الرئيسي مشكلة كانت تؤدي إلى طرد النماذج المزدحمة من الموزع.