github llama.cpp · 1시간 전 · inference

llama.cpp b10781 Vulkan FA 디쿼턴 경로 활성화 수정

번역 English → 한국어

llama.cpp 프로젝트가 Vulkan 고속 어텐션(FA) 디쿼턴 경로에 대한 수정 사항을 포함한 빌드 b10781을 출시했습니다. 이 업데이트는 `ne[3] == 1`일 때도 `nb[3]`를 잘못 확인하여 캐시가 가득 찼을 때만 경로가 활성화되던 문제를 해결합니다.

단일 스트림의 경우 셰이더가 이를 읽지 않으므로 `ne[3] == 1`일 때 `nb[3]` 검사를 건너뜁니다.
캐시 뷰가 전체 버퍼 스트라이드를 유지하여 기존 검사가 `n_kv == kv_size`로 줄어드는 논리 오류를 해결합니다.
macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), openEuler용 바이너리를 제공합니다.

이 수정은 추론 중 Vulkan FA 디쿼턴 경로가 올바르게 활성화되도록 하며, 전체 캐시 상태로 제한되지 않도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10780, 피어-투-피어 복사 지원을 위해 SYCL API 향상

llama.cpp 프로젝트가 버전 b10780을 출시했으며, 여기에는 SYCL 백엔드에 대한 특정 개선 사항이 포함됩니다. 이 업데이트는 SYCL 장치에 대한 피어-투-피어 복사(peer-to-peer copy) 기능을 활성화하기 위해 API를 수정합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp, NVIDIA Nemotron-3-Puzzle-75B-A9B 지원 추가

llama.cpp가 NVIDIA Nemotron-3-Puzzle-75B-A9B 모델에 대한 지원을 도입하여 이 Mixture of Experts 아키텍처의 추론을 가능하게 합니다. 이번 업데이트는 모델이 서로 다른 n_ff_exp 및 top-k 값을 가진 40개의 MoE 레이어를 가지고 있기 때문에 필요한 가변 레이어별 전문가 피드포워드 크기 및 top-k 라우팅을 위한 인프라를 구현합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10777이 Q4_K 다열 MMVQ의 중복 작업을 줄임

llama.cpp 프로젝트는 Q4_K 다열 행렬-벡터 곱셈(MMVQ)을 위한 SYCL 백엔드 최적화를 포함한 빌드 b10777을 출시했습니다. 이번 업데이트는 가중치 언패킹 및 활성화 재사용 전략을 통해 중복 계산 작업을 줄이는 데 중점을 둡니다.

github llama.cpp · 8시간 전 · 조회수 1회

ggml-org, 파인튜닝 KV 캐시 수정이 포함된 llama.cpp b10774 출시

ggml-org 프로젝트가 llama.cpp 버전 b10774를 출시했으며, 여기에는 파인튜닝 모듈의 KV 캐시 누락 문제에 대한 수정이 포함되어 있습니다.

github llama.cpp · 9시간 전 · 조회수 1회

llama.cpp b10772가 Hexagon HTP 백엔드에 F16 ABS 지원을 추가합니다

llama.cpp 릴리스 b10772는 절대값(ABS) 함수에 대한 지원을 추가하여 Hexagon Tensor Processor(HTP) 백엔드의 F16 단항 연산 범위를 확장합니다.