github llama.cpp · 방금 · inference

llama.cpp b10734, M5+/A19+에서 Metal 4.0 tensor API 활성화

번역 English → 한국어

llama.cpp 프로젝트는 M5+ 또는 A19+ 칩이 탑재된 장치를 위해 Metal 4.0 tensor API를 활성화하는 업데이트가 포함된 버전 b10734를 출시했습니다.

tensor API에 대한 Metal 4.0 언어 버전을 요청합니다.
별도 metallib에서 tensor API 커널을 로드합니다.
tensor API 커널에 대한 metallib 빌드 순서를 수정합니다.
external-metallib tensor API 회귀 테스트를 추가합니다.

이 릴리스는 CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL 및 OpenCL을 포함한 다양한 하드웨어 백엔드에 대해 macOS, iOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

ExLlamaV3, MoE 전문가용 CPU 오프로드 및 새로운 GLM-5.3-Flash, Qwen3.8-Flash 모델 추가

Turboderp가 ExLlamaV3에 중요한 업데이트를 출시하여 Mixture of Experts (MoE) 전문가에 대한 CPU 오프로드 기능을 도입했습니다. 이 업데이트에는 새로 출시된 GLM-5.3-Flash 및 Qwen3.8-Flash 모델에 대한 지원도 포함되어 있습니다.

github llama.cpp · 18시간 전 · 조회수 2회

llama.cpp b10724이 kv-cache 상태 복원을 최적화하여 복사 횟수를 1.3M에서 224로 줄임

llama.cpp 프로젝트는 b10724 빌드를 출시했으며, 이는 연속된 실행마다 scatter 읽기를 배치 처리하여 비연속 KV 캐시 셀의 복원 성능을 크게 개선했습니다.

github llama.cpp · 20시간 전 · 조회수 3회

llama.cpp b10721이 WebGPU 충돌을 수정하고 Windows용 CUDA 13.4 지원을 추가했습니다

llama.cpp 프로젝트는 WebGPU 백엔드에 대한 중요한 수정과 Windows에서의 하드웨어 지원 확장을 포함하는 빌드 b10721을 출시했습니다.

github llama.cpp · 22시간 전 · 조회수 9회

llama.cpp b10718이 specdec 및 멀티 토큰에 MOE 융합을 확장

llama.cpp 프로젝트는 CUDA 백엔드에 중요한 업데이트를 포함하는 버전 b10718을 출시했습니다. 가장 주목할 만한 변경은 Mixture of Experts (MOE) 융합을 스펜크티브 디코딩(specdec) 지원을 위해 확장하여, 이전 MOE glu 융합과 topk-router 융합이 한 번에 하나의 토큰만 처리하도록 제한되었던 문제를 해결한 것입니다.

github llama.cpp · 1일 전 · 조회수 4회

llama.cpp b10715, KV 캐시 주입에 DFlash 인코더 융합

llama.cpp 프로젝트는 DFlash 구현에 대한 주요 최적화를 포함하는 빌드 b10715를 출시했습니다. 이제 DFlash 인코더는 디코딩 중 KV 캐시 주입 프로세스에 직접 융합됩니다.