github llama.cpp · 1시간 전 · inference

llama.cpp b10246, 대형 q6_K lm_head을 평평한 GEMV로 라우팅

번역 English → 한국어

llama.cpp 프로젝트는 특정 모델 구성에 대한 OpenCL 성능 수정을 포함한 버전 b10246을 출시했습니다. 이 업데이트는 원래 차원 조건이 큰 가중치를 처리하기에 불충분했던 문제를 해결합니다.

대형 q6_K lm_head 텐서를 gemv_noshuffle 대신 평평한 GEMV로 라우팅합니다.
gemma-4 E2B(차원 [1536, 262144])와 같은 모델의 성능 저하를 방지하기 위해 직접적인 크기 조건을 추가합니다.
macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler용 바이너리를 제공합니다.

이 변경은 성능 병목 현상을 유발하지 않고 OpenCL 장치에서 큰 가중치 행렬을 효율적으로 처리하도록 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10236이 Metal DSv4 Lightning Indexer 구현

llama.cpp b10236 릴리스는 DSv4 Lightning Indexer의 Metal 구현을 도입했으며, F32 쿼리 및 가중치와 함께 F16 키 및 마스크를 사용하는 128차원 입력을 특별히 지원합니다.

github llama.cpp · 3일 전 · 조회수 8회

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.

github llama.cpp · 5일 전 · 조회수 2회

llama.cpp b10181은 공유 메모리가 48 KiB 미만인 장치에서 MMQ를 비활성화합니다

llama.cpp 프로젝트는 ggml-cuda의 수정 사항을 포함하는 빌드 b10181을 출시했습니다. 이 수정 사항은 블록당 공유 메모리가 48 KiB 미만인 GPU에서 행렬 곱셈 양자화(MMQ)를 비활성화합니다. 이전에는 MMQ 구성이 최소 48 KiB를 가정하여, 타일 크기가 사용 가능한 메모리를 초과하는 NVIDIA Pascal GPU 및 Moore Threads MTT S70과 같은 장치에서 치명적인 오류가 발생했습니다.

media Hugging Face Forums · 5일 전

Hugging Face, generate()에서 잘못된 출력을 방지하기 위해 DynamicCache 수정

Hugging Face의 `generate()` 함수에는 외부에서 구축된 `DynamicCache`가 사용될 때 잘못된 출력을 유발하는 버그가 있습니다. 이 문제는 프리필 데이터에서 캐시를 재구성하는 SnapKV, H2O, KIVI 등의 KV 캐시 압축 방법에 영향을 미칩니다. 근본 원인은 위치 컨텍스트 전파 실패로, Qwen3-VL-8B에서 정확도 10.7pp 손실을 초래합니다.

github llama.cpp · 6일 전 · 조회수 19회

llama.cpp b10165이 Vulkan FA에 iq4_nl 및 q1_0 지원 추가

llama.cpp 프로젝트는 Flash Attention (FA) Vulkan 백엔드에 대한 iq4_nl 양자화 지원을 복원하는 빌드 b10165을 출시했습니다. 이 변경은 공유 메모리 사용량에 대한 우려가 무시할 수 있는 수준으로 간주된 후 기능을 다시 활성화하여 이슈 #23681을 해결합니다.