github llama.cpp · 1시간 전 · inference

llama.cpp b10213이 회전된 kv 캐시 양자화 지원을 추가합니다

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10213을 출시하여 회전된 키-값 캐시 양자화에 대한 지원을 도입했습니다. 이 업데이트는 광범위한 플랫폼과 하드웨어 가속기에서 사용할 수 있습니다.

macOS Apple Silicon (arm64) 및 Intel (x64)
XCFramework를 통한 iOS
Linux Ubuntu x64 및 arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 및 arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 및 aarch64 (ACL Graph)

릴리스에는 메인 애플리케이션용 바이너리와 별도 UI 패키지가 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10212는 사용 시에만 MTP 텐서 로드

llama.cpp 프로젝트는 Multi-Token Prediction (MTP) 텐서를 실제로 사용할 때만 로드하는 변경 사항을 포함한 버전 b10212를 출시했습니다. 이 업데이트는 기능을 지원하지만 필요하지 않은 나머지 모델의 로드 중에 MTP 텐서가 건너뛰어지도록 보장합니다.

github llama.cpp · 3시간 전

llama.cpp b10210, 초안 토큰 재생 중 수락된 토큰 수정

llama.cpp 프로젝트가 버전 b10210을 출시했으며, 여기에는 초안 토큰 재생이 필요한 경우 수락된 토큰을 처리하기 위한 서버 로직의 수정 사항이 포함되어 있습니다.

github llama.cpp · 4시간 전

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.

github llama.cpp · 6시간 전

llama.cpp b10207, cpy의 누락된 유형에 대한 SYCL 지원 추가

llama.cpp 프로젝트가 버전 b10207을 출시했으며, 여기에는 이전에 지원되지 않던 데이터 유형에 대한 cpy 작업에서 SYCL 지원을 추가하는 풀 리퀘스트가 포함되어 있습니다.

github llama.cpp · 8시간 전

llama.cpp b10206, DeepSeek V4 및 MLA 모델에 동일한 K 및 V 캐시 유형 강제 적용

llama.cpp 프로젝트는 버전 b10206을 출시했으며, 이는 어텐션 메커니즘에서 키-값 캐시를 처리하는 방식에 특정 변경 사항을 도입했습니다. 이 업데이트는 DeepSeek V4 모델의 K 및 V 캐시 유형이 일관되게 유지되도록 보장합니다.