github llama.cpp · 방금 · inference

llama.cpp b10742, A18 Pro용 fa-vec 튜닝 추가

번역 English → 한국어

llama.cpp 프로젝트는 MacBook Neo에 탑재된 Apple A18 Pro 칩을 위해 특별히 빠른 벡터 (fa-vec) 튜닝을 추가하는 새로운 기능을 포함하는 버전 b10742를 출시했습니다.

이 릴리스는 여러 플랫폼과 하드웨어 구성 전반에 걸쳐 바이너리를 제공합니다:

macOS: Apple Silicon (arm64), Intel (x64), iOS XCFramework.
Linux: CPU (x64, arm64, s390x), Vulkan, ROCm 7.14, OpenVINO, SYCL (FP32/FP16)용 Ubuntu 빌드.
Windows: CPU (x64, arm64), OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14.
Android: arm64 CPU.

릴리스 노트에 따르면 이 빌드에서 macOS Apple Silicon용 KleidiAI 지원은 현재 비활성화되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10739, M2 Max용 fa-vec 튜닝 추가

llama.cpp 프로젝트가 Apple의 M2 Max 하드웨어를 위한 특정 성능 최적화를 포함한 버전 b10739를 출시했습니다. 이 업데이트는 M2 Max의 30개 GPU 코어에 맞춰진 빠른 어텐션 벡터(fa-vec) 튜닝을 도입합니다.

lab Hugging Face Blog · 3시간 전 · 조회수 3회

Hugging Face가 207개의 WebGPU 커널과 브라우저 벤치마킹 도구를 출시

Hugging Face는 Hugging Face Hub에서 최적화된 WebGPU 커널을 로드하고 실행하기 위한 라이브러리인 @huggingface/kernels와 함께 초기 207개 커널 컬렉션을 출시했습니다. 이번 출시에는 사용자의 기기에서 성능과 정확성에 대한 증거를 크라우드소싱하는 브라우저 내 GPU 벤치마킹 스위트인 Fleet도 포함되어 있습니다.

github llama.cpp · 7시간 전 · 조회수 1회

llama.cpp b10734, M5+/A19+에서 Metal 4.0 tensor API 활성화

llama.cpp 프로젝트는 M5+ 또는 A19+ 칩이 탑재된 장치를 위해 Metal 4.0 tensor API를 활성화하는 업데이트가 포함된 버전 b10734를 출시했습니다.

media r/LocalLLaMA · 12시간 전 · 조회수 1회

ExLlamaV3, MoE 전문가용 CPU 오프로드 및 새로운 GLM-5.3-Flash, Qwen3.8-Flash 모델 추가

Turboderp가 ExLlamaV3에 중요한 업데이트를 출시하여 Mixture of Experts (MoE) 전문가에 대한 CPU 오프로드 기능을 도입했습니다. 이 업데이트에는 새로 출시된 GLM-5.3-Flash 및 Qwen3.8-Flash 모델에 대한 지원도 포함되어 있습니다.

github llama.cpp · 1일 전 · 조회수 3회

llama.cpp b10724이 kv-cache 상태 복원을 최적화하여 복사 횟수를 1.3M에서 224로 줄임

llama.cpp 프로젝트는 b10724 빌드를 출시했으며, 이는 연속된 실행마다 scatter 읽기를 배치 처리하여 비연속 KV 캐시 셀의 복원 성능을 크게 개선했습니다.