github llama.cpp · 1시간 전 · inference

llama.cpp b10210, 초안 토큰 재생 중 수락된 토큰 수정

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10210을 출시했으며, 여기에는 초안 토큰 재생이 필요한 경우 수락된 토큰을 처리하기 위한 서버 로직의 수정 사항이 포함되어 있습니다.

초안 토큰 재생이 필요한 경우 서버 구성 요소에서 수락된 토큰을 수정합니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (Ubuntu x64/arm64/s390x with CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler에 대한 사전 빌드된 바이너리를 제공합니다.
UI 릴리스 패키지가 포함되어 있습니다.

이 업데이트는 지원되는 모든 플랫폼에서 추론 디코딩 시나리오에 대해 정확한 토큰 처리를 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10212는 사용 시에만 MTP 텐서 로드

llama.cpp 프로젝트는 Multi-Token Prediction (MTP) 텐서를 실제로 사용할 때만 로드하는 변경 사항을 포함한 버전 b10212를 출시했습니다. 이 업데이트는 기능을 지원하지만 필요하지 않은 나머지 모델의 로드 중에 MTP 텐서가 건너뛰어지도록 보장합니다.

github llama.cpp · 2시간 전

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.

github llama.cpp · 4시간 전

llama.cpp b10207, cpy의 누락된 유형에 대한 SYCL 지원 추가

llama.cpp 프로젝트가 버전 b10207을 출시했으며, 여기에는 이전에 지원되지 않던 데이터 유형에 대한 cpy 작업에서 SYCL 지원을 추가하는 풀 리퀘스트가 포함되어 있습니다.

github llama.cpp · 6시간 전

llama.cpp b10206, DeepSeek V4 및 MLA 모델에 동일한 K 및 V 캐시 유형 강제 적용

llama.cpp 프로젝트는 버전 b10206을 출시했으며, 이는 어텐션 메커니즘에서 키-값 캐시를 처리하는 방식에 특정 변경 사항을 도입했습니다. 이 업데이트는 DeepSeek V4 모델의 K 및 V 캐시 유형이 일관되게 유지되도록 보장합니다.

github llama.cpp · 8시간 전

SYCL RMS_NORM 융합을 포함한 llama.cpp b10202 릴리스

llama.cpp 프로젝트는 RMS_NORM 및 MUL 연산을 융합하는 SYCL 최적화를 도입한 버전 b10202를 출시했습니다.