أصدر مشروع llama.cpp الإصدار b10242، مقدّماً عيّان خلفية جديدًا للعقوبات يسمح بتحميل معالجة العقوبات إلى وحدة المعالجة الرسومية. يعزّز هذا التغيير دالة `common_sampler_init` ويحدّث بنية `llama_sampler_penalties` لتورّث من `llama_sampler_backend`، مما يتيح تعديلات التكرار والحضور على الخلفية.

  • يتضمن التنفيذ منطقًا لتهيئة الخلفية، وتطبيق العقوبات، ودعم عقوبات top-k في عيّان الخلفية.
  • تم تحسين الاستقرار العددي عن طريق الحفاظ على اللوغات المموّهة كـ -Inf لمنع توليد NaN أثناء العيّنة.
  • تضمن التحقق من أن قيم عقوبة التكرار محدودة وأكبر من 0، مع إضافة اختبارات للبارامترات غير الصالحة.
  • يوفر الإصدار ثنائيات لأنظمة macOS (Apple Silicon وIntel)، وLinux (CPU، Vulkan، ROCm، OpenVINO، SYCL)، وAndroid، وWindows (CPU، CUDA 12/13، Vulkan، OpenCL، HIP، OpenVINO، SYCL)، وهندسة openEuler.