github llama.cpp · 1시간 전 · inference

llama.cpp b10206, DeepSeek V4 및 MLA 모델에 동일한 K 및 V 캐시 유형 강제 적용

번역 English → 한국어

llama.cpp 프로젝트는 버전 b10206을 출시했으며, 이는 어텐션 메커니즘에서 키-값 캐시를 처리하는 방식에 특정 변경 사항을 도입했습니다. 이 업데이트는 DeepSeek V4 모델의 K 및 V 캐시 유형이 일관되게 유지되도록 보장합니다.

DeepSeek V4 아키텍처에 대해 동일한 K 및 V 캐시 유형을 강제합니다.
V 캐시가 양자화되어 있을 때 Flash Attention (FA) 을 활성화합니다.
다른 MLA 모델에도 동일한 K 및 V 캐시 유형 강제를 적용합니다.

이 릴리스는 CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL 및 OpenCL을 포함한 다양한 하드웨어 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

SYCL RMS_NORM 융합을 포함한 llama.cpp b10202 릴리스

llama.cpp 프로젝트는 RMS_NORM 및 MUL 연산을 융합하는 SYCL 최적화를 도입한 버전 b10202를 출시했습니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10201이 긴 컨텍스트에서 양자화된 KV에 대한 flash attention을 개선

llama.cpp 프로젝트는 ggml-webgpu 백엔드에 대한 주요 개선을 포함하는 버전 b10201을 출시했습니다. 이 업데이트는 긴 컨텍스트 생성 동안 양자화된 키-값 캐시를 처리할 때 flash attention 성능을 향상시킵니다.

github llama.cpp · 19시간 전 · 조회수 1회

llama.cpp b10198, 양자화 concat에 대한 Vulkan 지원 추가

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 양자화 연결 연산에 대한 지원을 도입한 빌드 b10198을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10180이 SYCL 단항 연산에 연속 빠른 경로 및 32비트 인덱스 산술 추가

llama.cpp 프로젝트는 SYCL 백엔드에 대한 성능 최적화를 도입한 빌드 b10180을 출시했습니다. 업데이트는 연속 빠른 경로를 구현하고 요소별 인덱스 산술을 32비트 정수와 함께 fastdiv를 사용하도록 전환합니다.

github llama.cpp · 4일 전 · 조회수 3회

llama.cpp b10155에 MiMo-V2.5 오디오 지원 추가

llama.cpp 프로젝트는 MiMo-V2.5 오디오 입력 모델을 위한 지원을 도입한 빌드 b10155를 출시했습니다. 이 업데이트에는 MiMo 오디오용 GGUF 변환기가 포함되어 있으며, RVQ 기반 오디오 모델을 처리하는 데 필요한 C++ 백엔드 로직이 구현되었습니다.