llama.cpp 프로젝트는 Qualcomm Hexagon 프로세서에 대한 상당한 최적화와 여러 플랫폼을 위한 새로운 빌드 산출물을 도입하는 버전 b9946을 출시했습니다.

  • Hexagon 단항 연산은 이제 VTCM 오버플로우를 피하기 위해 넓은 행을 타일링하고 분할을 fastdiv로 대체합니다.
  • 이 업데이트에는 코드 생성 개선을 위한 추적 계측 및 간소화된 HVX 커널이 포함됩니다.
  • macOS Apple Silicon 바이너리가 제공되지만 KleidiAI 지원은 비활성화 상태입니다.
  • 새로운 Linux 빌드는 CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL 타겟을 커버합니다.
  • Windows 릴리스는 기존 CUDA 12, OpenCL, HIP 옵션과 함께 CUDA 13 지원을 포함하게 되었습니다.

이 릴리스는 데스크톱 및 모바일 환경에 대한 업데이트된 바이너리를 제공하면서 Hexagon 기반 하드웨어의 성능을 향상시킵니다.