github llama.cpp · منذ 2 يوم · inference

إصلاح llama.cpp b11077 لتوجيه مفتاح API للموجّه إلى مثيلات الأطفال

مُترجم من English → العربية

يعالج إصدار llama.cpp b11077 خطأً في وضع التوجيه حيث كان وسيط `--api-key-file` يُمرر بشكل غير صحيح إلى المثيلات الفرعية التي أنشأها الموجه. تسبب ذلك في تلقي العملاء الذين يستخدمون `--api-key` أخطاء 401 عند إكمال الدردشة ومنع مكالمات التدفق الداخلية للموجه من العمل.

يلغي تعيين `LLAMA_ARG_API_KEY_FILE` في `unset_reserved_args()` بحيث لا تصل أي مفاتيح API إلى المثيلات الفرعية.
يضمن أن جميع المفاتيح التي يقبلها الموجه تعمل من البداية إلى النهاية دون إعادة التحقق مقابل مفاتيح الملف.
يمنع رفض مكالمات التدفق الداخلية للموجه، مثل POST /v1/streams/lookup و DELETE /v1/stream، بصمت بأخطاء 401.

يحل هذا الإصلاح المشكلة #28820 عن طريق ضمان بقاء المصادقة مسؤولية الموجه بدلاً من العمليات الفرعية.

الأهمية 1/3 الموثوقية 1/3 llama.cpp Inference efficiency

قراءة الأصل

مقالات ذات صلة

github llama.cpp · الآن · مشاهدة واحدة مباشر

llama.cpp b11122 يوسع دمج MMVQ GLU ويضيف دمجات SYCL جديدة

أطلق مشروع llama.cpp الإصدار b11122، والذي يتضمن تحديثات كبيرة للخلفية SYCL. يوسع هذا الإصدار دمج MMVQ GLU لدعم أنواع الكم المختلطة ويقدم دمجات جديدة لعمليات rms_norm+scale و ssm_conv+silu.

github llama.cpp · منذ 1 ساعة · 11 مشاهدة مباشر

يخفي llama.cpp b11120 الرموز الداخلية لـ Vulkan لإصلاح تدمير الحالة

أصدر مشروع llama.cpp الإصدار b11120، الذي يعالج خطأً حرجاً في الخلفية البرمجية لـ Vulkan من خلال إخفاء الرموز الداخلية. يمنع هذا التغيير مشاكل تدمير حالة dlopen المزدوج التي حدثت عندما كانت الرموز الداخلية مُصدَّرة.

arxiv arXiv cs.AI · منذ 4 ساعة · 9 مشاهدات

يقلل CliffCompaction تكاليف وكلاء البرمجة بنسبة 50% مع الحفاظ على الأداء

يقدم الباحثون تقنية CliffCompaction، وهي طريقة ضغط تلقائي مصممة لتخفيض التكاليف لوكلاء البرمجة طويلي المدى بنسبة تصل إلى 50% ضمن سياق محدود. تحافظ الطريقة على الأداء أو تحسّنه في Terminal-Bench وتحقق نتائج متقدمة في KernelBench من خلال الحفاظ على دقة المعلومات المضغوطة عبر الاقتطاع بدلاً من إعادة الصياغة.

arxiv arXiv cs.LG · منذ 5 ساعة · 9 مشاهدات

يقلل CliffCompaction تكاليف وكلاء البرمجة طويلة المدى بنسبة تصل إلى 50% مع الحفاظ على الأداء

يقدم الباحثون تقنية CliffCompaction، وهي طريقة ضغط ذاتي مصممة للوكلاء الذين يتعاملون مع ملايين الرموز (tokens)، مما يقلل التكاليف بنسبة تصل إلى 50% ضمن سياق محدود. تحافظ الطريقة على الأداء أو تحسّنه في Terminal-Bench وتحقق نتائج رائدة في KernelBench من خلال الحفاظ على دقة المعلومات عبر الاقتطاع بدلاً من إعادة الصياغة.

github llama.cpp · منذ 6 ساعة · 13 مشاهدة

llama.cpp b11118 يقدم ذاكرة تخزين مؤقتة لنقل الذاكرة المباشرة لمعالجة قناع HVX FA

أصدر مشروع llama.cpp الإصدار b11118، الذي يتضمن ميزة hex-dma جديدة تقدم ذاكرة تخزين مؤقتة لنقل الذاكرة المباشرة (DMA) أكثر ملاءمةً لمعالجة قناع HVX FA الخاص بـ Hexagon Vector eXtended.