github llama.cpp · 2일 전 · inference

llama.cpp b10684이 SYCL --fit VRAM 계정을 개선함

번역 English → 한국어

llama.cpp 프로젝트는 `--fit` 플래그가 `--fit-target`을 더 정확하게 준수하도록 하는 SYCL 백엔드에 대한 특정 수정 사항을 포함하는 버전 b10684를 출시했습니다.

`--fit` 알고리즘은 이제 SYCL 백엔드에서 주어진 컨텍스트 크기에 필요한 실제 최대 VRAM을 고려합니다.
할당된 컨텍스트가 완전히 사용될 때 VRAM 사용을 적절히 계산하여 메모리 부족 오류를 방지합니다.
또한 이전에 너무 많은 VRAM을 예약했던 과도하게 보수적인 계산을 중단합니다.
unsloth의 qwen3.8 (Q4_K_XL)이 있는 Arc b70에서 테스트한 결과, `--fit-target 1`을 사용하여 q8_0 KV 및 MTP로 262144 컨텍스트를 사용할 수 있음을 보여주었습니다.

이 변경으로 사용자는 메모리 부족 없이 SYCL 하드웨어에서 더 큰 컨텍스트를 활용할 수 있으며, 이전의 보수적인 추정치로 인해 예약된 VRAM의 낭비를 피할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10721이 WebGPU 충돌을 수정하고 Windows용 CUDA 13.4 지원을 추가했습니다

llama.cpp 프로젝트는 WebGPU 백엔드에 대한 중요한 수정과 Windows에서의 하드웨어 지원 확장을 포함하는 빌드 b10721을 출시했습니다.

github llama.cpp · 2시간 전

llama.cpp b10718이 specdec 및 멀티 토큰에 MOE 융합을 확장

llama.cpp 프로젝트는 CUDA 백엔드에 중요한 업데이트를 포함하는 버전 b10718을 출시했습니다. 가장 주목할 만한 변경은 Mixture of Experts (MOE) 융합을 스펜크티브 디코딩(specdec) 지원을 위해 확장하여, 이전 MOE glu 융합과 topk-router 융합이 한 번에 하나의 토큰만 처리하도록 제한되었던 문제를 해결한 것입니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b10715, KV 캐시 주입에 DFlash 인코더 융합

llama.cpp 프로젝트는 DFlash 구현에 대한 주요 최적화를 포함하는 빌드 b10715를 출시했습니다. 이제 DFlash 인코더는 디코딩 중 KV 캐시 주입 프로세스에 직접 융합됩니다.

github llama.cpp · 6시간 전 · 조회수 1회

llama.cpp b10714, Strix Halo용 Vulkan mat-vec 행 조정

llama.cpp 프로젝트는 AMD Strix Halo 하드웨어를 타겟팅하는 Vulkan 백엔드를 위한 특정 최적화를 포함하는 빌드 b10714를 출시했습니다. 이 업데이트는 배치 추론 중 성능을 향상시키기 위해 행렬-벡터 곱셈 행 수를 조정합니다.

github llama.cpp · 12시간 전 · 조회수 3회

llama.cpp b10706에 SWIGLU_CLAMP 및 Vulkan 셰이더 지원 추가

llama.cpp 프로젝트는 ggml 백엔드에 새로운 기능을 도입하는 빌드 b10706을 출시했습니다. 이 업데이트에는 SWIGLU_CLAMP 추가와 새로운 Vulkan 셰이더 구현이 포함됩니다.