llama.cpp 프로젝트가 버전 b10830을 출시하며 모델 변환을 위한 새로운 명령줄 옵션을 도입했습니다. 이 업데이트는 Hugging Face 형식에서 GGUF로 변환하는 동안 Query, Key 및 Value 행렬을 단일 QKV 구조로 융합할 수 있는 `--fuse-qkv` 플래그를 추가합니다.
- 이번 릴리스에는 macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL 백엔드 지원 Ubuntu), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, SYCL), openEuler용 바이너리가 포함되어 있습니다.
- iOS 지원은 XCFramework를 통해 제공되며, macOS Apple Silicon에서의 KleidiAI 지원은 현재 비활성화되어 있습니다.
이 업데이트는 융합 어텐션 메커니즘의 이점을 얻는 모델에 대해 사용자에게 더 효율적인 변환 경로를 제공합니다.