github llama.cpp · 2일 전 · inference

llama.cpp b11018, Arc B70에서 SYCL 메모리 할당 오류 수정

번역 English → 한국어

llama.cpp 프로젝트는 Intel Arc B70 GPU를 SYCL 백엔드와 함께 사용할 때 발생하는 메모리 할당 오류에 대한 수정을 포함한 빌드 b11018을 출시했습니다.

Arc B70에서 19.3GB를 초과하는 워크로드에 대해 메모리 할당이 실패하는 문제를 해결합니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenCL, SYCL, ROCm, OpenVINO), Android 및 UI용 바이너리를 제공합니다.
CUDA 12/13, ROCm 10.0 및 OpenVINO 2026.3.1을 포함한 다양한 가속기 지원을 위한 Ubuntu x64/arm64/s390x용 특정 빌드를 포함합니다.

이 업데이트는 SYCL 구현의 메모리 처리 로직을 수정하여 Intel Arc B70 하드웨어에서 안정적인 작동을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

github llama.cpp · 12시간 전 · 조회수 1회

llama.cpp b11035이 Vulkan용 IQ3_S MMQ 행렬 곱 커널 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 IQ3_S MMQ 행렬 곱 커널에 대한 지원을 도입한 버전 b11035를 출시했습니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b11026, Qwen35MoE 의 gate_up_exps 건너뜀

llama.cpp 프로젝트는 TENSOR_SKIP 플래그가 설정되어 있을 때 gate_up_exps 를 건너뛰도록 하는 변경 사항을 도입한 빌드 b11026 을 출시했습니다. 이 수정은 MTP 텐서가 융합되었지만 로드되지 않은 Qwen35MoE 모델에 특히 필요합니다.