github llama.cpp · 1일 전 · inference

llama.cpp b10951이 불필요한 호출을 피하기 위해 llama_decode 전에 llama_n_rs_seq를 이동

번역 English → 한국어

llama.cpp 프로젝트는 디코딩 로직에 코드 최적화를 포함한 버전 b10951을 출시했습니다. `llama_n_rs_seq` 함수 호출은 이제 `llama_decode` 전에 실행되어 검사가 통과하면 시스템이 직접 반환할 수 있습니다.

이 변경으로 조기 반환 조건이 충족될 때 `res` 변수를 설정하고 goto 문을 사용할 필요가 사라졌습니다.
주요 동기는 필요하지 않을 때 `llama_decode`를 호출하지 않아 효율성을 향상시키는 것입니다.
바이너리는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler에서 사용할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10982가 DSV4/GLM에 대한 Vulkan 스파스 Flash Attention 지원을 추가함

llama.cpp 프로젝트는 Vulkan 백엔드를 통해 스파스 Flash Attention에 대한 지원을 도입한 빌드 b10982를 출시했습니다. 이 업데이트는 특히 DSV4 및 GLM 모델을 대상으로 하며, 호환되는 GPU 하드웨어에서 스파스 주의 메커니즘을 활용할 수 있도록 합니다.

github llama.cpp · 3시간 전 · 조회수 2회

llama.cpp b10981, Gemma-4의 상태 디코딩 수정 및 GPU MoE 추론 최적화

llama.cpp b10981 릴리스는 OpenVINO 백엔드의 상태 디코딩 경로에서 중요한 정확성 문제를 해결하며, 특히 레이어별 헤드 크기를 사용하는 Gemma-4와 같은 모델에 대한 지원을 수정합니다. 또한 GPU Mixture of Experts (MoE) 추론을 위한 최적화를 도입하고 KV 상태 재배치를 통해 성능을 개선합니다.

github llama.cpp · 21시간 전 · 조회수 8회

llama.cpp 0.4.1이 Maple 20B-A1B, Tencent Hy 4, Spark2.5 지원을 추가합니다

llama.cpp 프로젝트가 버전 0.4.1을 출시하여 CPU에서 Maple 20B-A1B 삼항 전문가 혼합(MoE) 아키텍처에 대한 지원과 함께 Tencent Hy 4 및 Spark2.5 모델에 대한 미리보기 지원을 도입했습니다.

github llama.cpp · 3일 전 · 조회수 12회

llama.cpp b10930 모델 제한 시 모델 다운로드 허용

llama.cpp 프로젝트는 버전 b10930을 출시했으며, 여기에는 사용자가 모델 제한에 도달했더라도 모델 다운로드를 가능하게 하는 서버 구성 요소 수정이 포함되어 있습니다.

github llama.cpp · 3일 전 · 조회수 4회

llama.cpp b10926 릴리스는 지원되지 않는 tq1_0 양자화를 우아하게 처리합니다

llama.cpp 프로젝트가 지원되지 않는 tq1_0 양자화를 우아하게 실패하도록 처리하는 수정 사항을 포함한 버전 b10926을 출시했습니다. 이 업데이트는 특정 양자화 형식을 마주할 때 안정성을 개선하기 위해 이슈 #28681을 해결합니다.