github llama.cpp · 2일 전 · inference

llama.cpp b11012가 qwen4exp hc 연산에 대한 Vulkan 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 pull request #28988을 통해 qwen4exp hc 연산에 대한 Vulkan 지원을 도입한 버전 b11012를 출시했습니다. 이 업데이트에는 오래된 주석 수정도 포함되어 있습니다.

이번 릴리스는 여러 플랫폼과 하드웨어 가속기에서 바이너리와 프레임워크를 제공합니다:

macOS: Apple Silicon (arm64), Intel (x64) 및 iOS XCFramework.
Linux: CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL용 Ubuntu 빌드.
Windows: CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL 및 ROCm 10.0용 빌드.
Android: arm64 CPU 지원.

이 릴리스는 사용자가 지원되는 운영 체제에서 Vulkan 호환 GPU로 고연산 qwen4exp 모델을 실행할 수 있도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b11042가 OpenCL A8 Q6_K 이진 커널 추가

llama.cpp 프로젝트는 A8 Q6_K 비-MoE 모델을 위한 새로운 OpenCL 이진 커널을 도입한 버전 b11042를 출시했습니다. 이 업데이트에는 OpenCL 백엔드 내의 레이아웃 호환성 수정도 포함되어 있습니다.

github llama.cpp · 9시간 전 · 조회수 1회

llama.cpp b11039 모델 저장소 및 로더에 SWA 패턴 지원 추가

llama.cpp 프로젝트가 빌드 b11039를 출시하여, SWA를 사용하는 모든 모델에 대해 슬라이딩 윈도우 어텐션(SWA) 패턴과 MLA SWA 기하학을 기록하도록 모델 저장소를 업데이트했습니다. 이 변경으로 `sliding_window_pattern`이 스칼라로 축소되지 않고 레이어별 플래그로 기록되어 정확한 데이터 표현이 보존됩니다.

github llama.cpp · 1일 전 · 조회수 6회

llama.cpp b11024이 OpenVINO를 2026.4로 업데이트하고 경고 수정

llama.cpp 프로젝트는 주로 OpenVINO 통합을 버전 2026.4로 업데이트하는 빌드 b11024을 출시했습니다.

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b11025이 Nemotron MTP 지원을 확장합니다

llama.cpp 프로젝트에서 Nemotron 다중 토큰 예측(MTP) 지원 확장이 포함된 빌드 b11025를 출시했습니다.