أصدر مشروع llama.cpp الإصدار b10199، مقدمًا قدرات جديدة إلى مكون الخادم الخاص به. يتيح التحديث الرئيسي للخادم دعم التضمينات لتوليد الرمز التالي، مضيفًا بشكل محدد دعم تضمينات الرموز المُعيّنة.
- يدعم الخادم الآن توليد التضمين للرموز المُعيّنة لتسهيل سير عمل التنبؤ بالرمز التالي.
- تم تطبيق إصلاح على مُدمّر ~server_batch().
- تم تعطيل عمليات البناء الخاصة بـ macOS Apple Silicon (arm64) مع KleidiAI في هذا الإصدار.
- تتوفر الثنائيات الجاهزة لـ Linux و Windows و Android و macOS عبر الخلفيات CPU و CUDA و Vulkan و ROCm و OpenVINO و SYCL و OpenCL.
يتيح هذا التحديث للمستخدمين الذين يستفيدون من خادم llama.cpp الوصول إلى تضمينات الرموز مباشرة أثناء التوليد، وهو مفيد للتطبيقات التي تتطلب تمثيلات متجهية للرموز المخرجة.