github llama.cpp · 1일 전 · inference

llama.cpp b10068이 DFlash에 대해 주입된 K/V 캐시를 회전합니다

번역 English → 한국어

llama.cpp 프로젝트는 DFlash 모델 구현에 변경 사항을 도입한 버전 b10068을 출시했습니다. 이 업데이트는 src/models/dflash.cpp를 수정하여 K/V 양자화가 사용될 때 주입된 키/값 (K/V) 캐시를 회전합니다.

이 릴리스는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler에 대한 바이너리를 제공합니다.

이 업데이트는 양자화 조건 하에서 DFlash 모델에 대한 올바른 캐시 처리를 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10067, DeepSeek-V4 라우팅 테이블을 양자화에서 제외

llama.cpp 프로젝트는 DeepSeek-V4 모델을 올바르게 처리하기 위한 `llama-quantize` 도구에 대한 수정 사항을 포함하는 버전 b10067을 출시했습니다. 이 업데이트는 양자화기가 i32 토큰-투-엑스퍼트 인덱스 테이블인 `ffn_gate_tid2eid` 텐서를 float 유형으로 변환하려고 시도하는 것을 방지합니다.

github llama.cpp · 2일 전

llama.cpp b10066이 OpenCL을 통해 kernel_gemm_moe_q6_k_f32_ns 커널 지원 추가

llama.cpp 프로젝트가 버전 b10066을 출시하여 OpenCL을 통해 `kernel_gemm_moe_q6_k_f32_ns` 커널 지원을 도입했습니다. 이 업데이트는 프레임워크 내에서 이 특정 바이너리 커널 라이브러리를 로드하고 사용할 수 있게 합니다.

github llama.cpp · 2일 전

OpenCL 전치 최적화가 포함된 llama.cpp b10064 릴리스

llama.cpp 프로젝트는 OpenCL 백엔드 변경 사항이 포함된 버전 b10064를 출시했습니다. 이 업데이트는 noshuffle scales를 전치하여 결합된 읽기를 활성화함으로써 q4_K 양자화 형식을 수정합니다.

github llama.cpp · 2일 전

llama.cpp b10059은 ggml-blas 기본 hadamard mul_mat을 CPU 루틴으로 설정

llama.cpp 프로젝트는 Hadamard 행렬 곱셈에 대해 기본적으로 CPU 루틴을 사용하도록 ggml-blas 라이브러리를 업데이트한 버전 b10059을(를) 출시했습니다.

github llama.cpp · 2일 전

llama.cpp b10057이 SYCL Q5_K 커널을 수정하고 바이너리 릴리스

llama.cpp 프로젝트는 여러 플랫폼에 대한 표준 바이너리 배포와 함께 SYCL 백엔드에 대한 여러 버그 수정을 포함하는 버전 b10057을 출시했습니다.