El proyecto llama.cpp lanzó la compilación b9966, que aborda un problema de rendimiento en la función -sm tensor. La actualización elimina 29 recompilaciones de expresiones regulares por tensor por token que anteriormente ocurrían en el hilo de descodificación.
- El código anteriormente reconstruía 29 patrones de expresiones regulares desde cero para cada tensor de cada token.
- La corrección almacena en caché estos patrones para que se construyan una vez y se reutilicen.
- Este cambio reduce los ciclos de CPU desperdiciados en el hilo de descodificación sin alterar el comportamiento.