github llama.cpp · 1시간 전 · inference

llama.cpp b11007이 MTP 초안에 대해 CUDA graph 활성화

번역 English → 한국어

llama.cpp 프로젝트는 Multi-Token Prediction (MTP) 초안에서 CUDA graphs 지원을 도입한 버전 b11007을 출시했습니다. 이 업데이트는 CUDA graph 실행을 활용하여 초안 작성 프로세스의 효율성을 향상시킵니다.

사용 효율성을 높이기 위해 MTP 초안에 대해 CUDA graph 활성화.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리 제공.
모든 지원 플랫폼에 대한 UI 바이너리 포함.

이 릴리스를 통해 사용자는 새로운 MTP 초안 구현을 통해 호환되는 NVIDIA GPU에서 최적화된 추론 성능의 혜택을 받을 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b11006이 K-Quants Q4_K 및 Q6_K에 대한 Hexagon 지원을 추가

llama.cpp 프로젝트는 K-Quantization 형식을 처리하기 위해 Qualcomm Hexagon 프로세서에 대한 지원을 도입한 버전 b11006을 출시했습니다. 이 업데이트는 Hexagon 아키텍처에서 Q4_K 및 Q6_K 양자화 수준을 위한 특정 커널을 구현합니다.

github llama.cpp · 1일 전 · 조회수 8회

llama.cpp b10982가 DSV4/GLM에 대한 Vulkan 스파스 Flash Attention 지원을 추가함

llama.cpp 프로젝트는 Vulkan 백엔드를 통해 스파스 Flash Attention에 대한 지원을 도입한 빌드 b10982를 출시했습니다. 이 업데이트는 특히 DSV4 및 GLM 모델을 대상으로 하며, 호환되는 GPU 하드웨어에서 스파스 주의 메커니즘을 활용할 수 있도록 합니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b10981, Gemma-4의 상태 디코딩 수정 및 GPU MoE 추론 최적화

llama.cpp b10981 릴리스는 OpenVINO 백엔드의 상태 디코딩 경로에서 중요한 정확성 문제를 해결하며, 특히 레이어별 헤드 크기를 사용하는 Gemma-4와 같은 모델에 대한 지원을 수정합니다. 또한 GPU Mixture of Experts (MoE) 추론을 위한 최적화를 도입하고 KV 상태 재배치를 통해 성능을 개선합니다.

github llama.cpp · 2일 전 · 조회수 12회

llama.cpp 0.4.1이 Maple 20B-A1B, Tencent Hy 4, Spark2.5 지원을 추가합니다

llama.cpp 프로젝트가 버전 0.4.1을 출시하여 CPU에서 Maple 20B-A1B 삼항 전문가 혼합(MoE) 아키텍처에 대한 지원과 함께 Tencent Hy 4 및 Spark2.5 모델에 대한 미리보기 지원을 도입했습니다.

github llama.cpp · 3일 전 · 조회수 3회

llama.cpp b10951이 불필요한 호출을 피하기 위해 llama_decode 전에 llama_n_rs_seq를 이동

llama.cpp 프로젝트는 디코딩 로직에 코드 최적화를 포함한 버전 b10951을 출시했습니다. `llama_n_rs_seq` 함수 호출은 이제 `llama_decode` 전에 실행되어 검사가 통과하면 시스템이 직접 반환할 수 있습니다.