github llama.cpp · 1일 전 · inference

llama.cpp b11024이 OpenVINO를 2026.4로 업데이트하고 경고 수정

번역 English → 한국어

llama.cpp 프로젝트는 주로 OpenVINO 통합을 버전 2026.4로 업데이트하는 빌드 b11024을 출시했습니다.

ggml-openvino를 업데이트하여 OpenVINO 2026.4를 사용하도록 합니다.
OpenVINO 백엔드의 clangd 및 MSVC 경고를 수정합니다.
int에서 포인터로의 캐스트 문제를 해결하고, 내부 링크를 강제하며, 중복된 switch 케이스를 피합니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, CUDA, ROCm, SYCL), Windows (CPU, Vulkan, CUDA, OpenCL, ROCm, SYCL), Android, 그리고 openEuler에 대한 바이너리를 제공합니다.

이 릴리스는 최신 OpenVINO 툴킷과의 호환성을 보장하면서 컴파일러 경고 및 내부 코드 일관성 문제를 해결합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b11042가 OpenCL A8 Q6_K 이진 커널 추가

llama.cpp 프로젝트는 A8 Q6_K 비-MoE 모델을 위한 새로운 OpenCL 이진 커널을 도입한 버전 b11042를 출시했습니다. 이 업데이트에는 OpenCL 백엔드 내의 레이아웃 호환성 수정도 포함되어 있습니다.

github llama.cpp · 9시간 전 · 조회수 1회

llama.cpp b11039 모델 저장소 및 로더에 SWA 패턴 지원 추가

llama.cpp 프로젝트가 빌드 b11039를 출시하여, SWA를 사용하는 모든 모델에 대해 슬라이딩 윈도우 어텐션(SWA) 패턴과 MLA SWA 기하학을 기록하도록 모델 저장소를 업데이트했습니다. 이 변경으로 `sliding_window_pattern`이 스칼라로 축소되지 않고 레이어별 플래그로 기록되어 정확한 데이터 표현이 보존됩니다.

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b11025이 Nemotron MTP 지원을 확장합니다

llama.cpp 프로젝트에서 Nemotron 다중 토큰 예측(MTP) 지원 확장이 포함된 빌드 b11025를 출시했습니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b11019는 임베디드 파일에 대한 GGUF 데이터 정렬을 수정하고 LoRA 로딩을 추가합니다

llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.