Proyek llama.cpp telah merilis versi b9966, yang menampilkan optimasi kinerja untuk pola regex pemisahan tensor. Fungsi `llama_meta_device_get_split_state()` sebelumnya melakukan kompilasi ulang 29 objek `std::regex` pada setiap panggilan, yang mendominasi thread decoding selama profiling dalam mode tensor -sm.

  • Menandai pola-pola ini sebagai static const memastikan mereka dikompilasi hanya sekali, meningkatkan efisiensi tanpa mengubah perilaku.
  • Build macOS Apple Silicon (arm64) tersedia, tetapi dukungan KleidiAI dinonaktifkan.
  • Binari Linux disediakan untuk Ubuntu x64 dan arm64 (CPU), s390x (CPU), Vulkan, ROCm 7.2, OpenVINO, dan SYCL FP32/FP16.
  • Build Android arm64 (CPU) disertakan.
  • Rilis Windows mencakup CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan HIP.
  • Dukungan openEuler dinonaktifkan sebagian, dengan build x86 dan aarch64 tersedia untuk perangkat keras tertentu.

Pembaruan ini menyediakan binari yang dioptimalkan di berbagai platform dan akselerator, mengatasi hambatan kinerja dalam pemisahan tensor.