O projeto llama.cpp lançou a compilação b9966, que aborda um problema de desempenho no recurso -sm tensor. A atualização remove 29 recompilações de expressões regulares por tensor por token que anteriormente ocorriam na thread de decodificação.
- O código anteriormente reconstruía 29 padrões de expressões regulares do zero para cada tensor de cada token.
- A correção armazena esses padrões em cache para que sejam construídos uma vez e reutilizados.
- Essa alteração reduz os ciclos de CPU desperdiçados na thread de decodificação sem alterar o comportamento.