llama.cpp 프로젝트는 -sm 텐서 기능의 성능 문제를 해결한 빌드 b9966을 출시했습니다. 이 업데이트는 디코드 스레드에서 발생하던 텐서당 토큰마다 29번의 정규식 재컴파일을 제거합니다.

  • 기존 코드는 모든 토큰의 모든 텐서에 대해 29개의 정규식 패턴을 매번 새로 빌드했습니다.
  • 이 수정은 이러한 패턴을 캐시하여 한 번 빌드하고 재사용하도록 합니다.
  • 이 변경은 동작을 변경하지 않고 디코드 스레드의 낭비되는 CPU 사이클을 줄입니다.