github llama.cpp · 5시간 전 · inference

llama.cpp b11042가 OpenCL A8 Q6_K 이진 커널 추가

번역 English → 한국어

llama.cpp 프로젝트는 A8 Q6_K 비-MoE 모델을 위한 새로운 OpenCL 이진 커널을 도입한 버전 b11042를 출시했습니다. 이 업데이트에는 OpenCL 백엔드 내의 레이아웃 호환성 수정도 포함되어 있습니다.

`kernel_gemm_noshuffle_q6_k_f32_32b_trans_ila_a8_bin` OpenCL 커널 추가.
OpenCL 구현의 레이아웃 호환성 문제 해결.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL) 및 openEuler용 바이너리 제공.

이 릴리스는 주요 운영 체제 및 GPU 아키텍처 전반에 걸친 광범위한 호환성을 유지하면서 OpenCL 장치의 특정 양자화 형식에 대한 하드웨어 지원을 확대합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 9시간 전 · 조회수 1회

llama.cpp b11039 모델 저장소 및 로더에 SWA 패턴 지원 추가

llama.cpp 프로젝트가 빌드 b11039를 출시하여, SWA를 사용하는 모든 모델에 대해 슬라이딩 윈도우 어텐션(SWA) 패턴과 MLA SWA 기하학을 기록하도록 모델 저장소를 업데이트했습니다. 이 변경으로 `sliding_window_pattern`이 스칼라로 축소되지 않고 레이어별 플래그로 기록되어 정확한 데이터 표현이 보존됩니다.

github llama.cpp · 1일 전 · 조회수 6회

llama.cpp b11024이 OpenVINO를 2026.4로 업데이트하고 경고 수정

llama.cpp 프로젝트는 주로 OpenVINO 통합을 버전 2026.4로 업데이트하는 빌드 b11024을 출시했습니다.

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b11025이 Nemotron MTP 지원을 확장합니다

llama.cpp 프로젝트에서 Nemotron 다중 토큰 예측(MTP) 지원 확장이 포함된 빌드 b11025를 출시했습니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b11019는 임베디드 파일에 대한 GGUF 데이터 정렬을 수정하고 LoRA 로딩을 추가합니다

llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.