أصدر مشروع llama.cpp الإصدار b10649، الذي يقدم ميزة جديدة للقبول التخميني الاصطناعي. تم تصميم هذا الإضافة خصيصًا لأغراض المقاييس وهي متاحة في كل من مكوني llama-server وllama-cli.

  • يضيف القبول التخميني الاصطناعي للمقاييس فقط إلى llama-server وllama-cli.
  • يتضمن ملفات ثنائية لـ macOS وiOS وLinux وWindows وAndroid وopenEuler عبر وحدات المعالجة المركزية ووحدات معالجة الرسومات ومختلف خلفيات التسريع.
  • يعطل دعم KleidiAI على macOS Apple Silicon لهذا الإصدار.

يوفر هذا الإصدار ملفات ثنائية محدثة لمجموعة واسعة من المنصات مع إضافة أدوات محددة لتقييم أداء فك التشفير التخميني.