Proyek llama.cpp merilis build b9966, yang mengatasi masalah kinerja pada fitur -sm tensor. Pembaruan ini menghapus 29 kompilasi ulang regex per tensor per token yang sebelumnya terjadi pada thread decode.

  • Kode sebelumnya membangun kembali 29 pola regex dari awal untuk setiap tensor dari setiap token.
  • Perbaikan ini meng-cache pola-pola tersebut sehingga dibangun sekali dan digunakan kembali.
  • Perubahan ini mengurangi siklus CPU yang terbuang pada thread decode tanpa mengubah perilaku.