llama.cpp 프로젝트가 버전 b9968을 출시하며 Qualcomm Adreno GPU용 OpenCL 최적화를 도입했습니다. 이번 업데이트는 OpenCL 백엔드에 int8 dp4 밀집 행렬 곱셈과 Mixture of Experts (MoE) GEMM 기능을 추가합니다.

  • OpenCL을 통해 Adreno GPU용 int8 dp4 밀집 및 MoE GEMM 지원 추가.
  • 업데이트의 일환으로 OpenCL 코드베이스 리팩토링.
  • 이 릴리스에서는 KleidiAI가 있는 macOS Apple Silicon이 비활성화되었습니다.
  • CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, HIP 백엔드를 위한 macOS (Apple Silicon 및 Intel), Linux, Android, Windows, openEuler용 바이너리가 제공됩니다.

이번 릴리스는 다양한 플랫폼을 위한 업데이트된 바이너리를 제공하면서 Adreno 모바일 GPU를 위한 특정 성능 최적화를 활성화합니다.