llama.cpp b9966 met en cache les motifs regex pour réduire l'utilisation du CPU sur sm-tensor

Le projet llama.cpp a publié la version b9966, qui corrige un problème de performance dans la fonctionnalité -sm tensor. Cette mise à jour supprime 29 recompilerations de regex par tenseur et par token qui se produisaient précédemment sur le thread de décodage.

• Le code reconstruisait auparavant 29 motifs regex à partir de zéro pour chaque tenseur de chaque token.
• La correction met ces motifs en cache afin qu'ils soient construits une seule fois et réutilisés.
• Ce changement réduit les cycles CPU gaspillés sur le thread de décodage sans modifier le comportement.