llama.cpp 프로젝트는 텐서 분할 Regex 패턴에 대한 성능 최적화를 탑재한 버전 b9966을 출시했습니다. `llama_meta_device_get_split_state()` 함수는 이전에는 호출할 때마다 29개의 `std::regex` 객체를 다시 컴파일했으며, -sm 텐서 모드 프로파일링 시 디코드 스레드를 지배했습니다.

  • 이러한 패턴을 static const로 표시하면 한 번만 컴파일되어 동작 변경 없이 효율성이 향상됩니다.
  • macOS Apple Silicon (arm64) 빌드가 제공되지만 KleidiAI 지원은 비활성화되었습니다.
  • Linux 바이너리는 Ubuntu x64 및 arm64 (CPU), s390x (CPU), Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16에 대해 제공됩니다.
  • Android arm64 (CPU) 빌드가 포함되어 있습니다.
  • Windows 릴리스에는 CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP가 포함됩니다.
  • openEuler 지원은 부분적으로 비활성화되었으며, 특정 하드웨어에 대해 x86 및 aarch64 빌드가 제공됩니다.

이 업데이트는 여러 플랫폼과 가속기 전반에 걸쳐 최적화된 바이너리를 제공하여 텐서 분할의 성능 병목 현상을 해결합니다.