Проект llama.cpp выпустил сборку b9966, которая устраняет проблему производительности в функции -sm tensor. Обновление удаляет 29 повторных компиляций регулярных выражений для каждого тензора на каждый токен, которые ранее происходили в потоке декодирования.
- Код ранее заново создавал 29 шаблонов регулярных выражений с нуля для каждого тензора каждого токена.
- Исправление кэширует эти шаблоны, чтобы они создавались один раз и повторно использовались.
- Это изменение снижает бесполезную нагрузку на ЦП в потоке декодирования, не изменяя поведение.