llama.cpp 프로젝트가 Apple M4 하드웨어를 위한 특정 성능 최적화를 포함하는 빌드 b10673을 출시했습니다. 이 업데이트는 Metal 백엔드 효율성을 개선하기 위해 ggml-metal-tuning 모듈에 fa_vec_tuned_table 레코드를 도입합니다.
- 10개의 GPU 코어를 갖춘 M4 칩에서 F16, Q4_0, Q4_1, Q5_0, Q5_1, Q8_0 양자화에 대한 튜닝된 룩업 테이블을 추가합니다.
- macOS Apple Silicon (arm64), macOS Intel (x64), iOS XCFramework용 바이너리를 제공합니다.
- CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL 백엔드 전반에 걸쳐 Ubuntu x64 및 arm64용 Linux 빌드를 포함합니다.
- CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14를 위한 Windows 바이너리를 제공합니다.
- Android arm64 (CPU) 지원과 UI 바이너리를 추가합니다.
이 릴리스는 Apple M4 장치 사용자들이 더 빠른 추론을 위해 최적화된 Metal 커널을 활용할 수 있도록 보장합니다.