llama.cpp 프로젝트는 새로운 Metal 백엔드 기여를 통해 Apple M4 Pro GPU용 빠른 어텐션 벡터(fa-vec) 튜닝을 추가했습니다. 이 업데이트는 이전 Apple GPU 지원 작업에 이어 2024년 11월 14인치 MacBook Pro에서 `ggml-metal-tuning` 도구를 사용하여 생성되었습니다.
- 튜닝 프로세스는 다른 시스템 부하 없이 1시간 13분 1초 동안 성공적으로 실행되었습니다.
- 기여는 M4 Pro 아키텍처의 f16 및 q8_0 데이터 유형을 지원합니다.
- 이 릴리스에는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA, Vulkan, OpenCL, ROCm, OpenVINO, SYCL) 및 openEuler용 바이너리가 포함되어 있습니다.