github llama.cpp · 2시간 전 · inference

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

이번 릴리스에는 macOS (Apple Silicon 및 Intel), Linux (Ubuntu with CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, and SYCL), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, and ROCm 10.0), Android arm64 및 openEuler용 바이너리가 포함되어 있습니다.
iOS XCFramework와 독립형 UI 빌드도 제공됩니다.
이 릴리스에서 macOS Apple Silicon에 대한 KleidiAI 지원은 현재 비활성화되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

github llama.cpp · 12시간 전 · 조회수 1회

llama.cpp b11035이 Vulkan용 IQ3_S MMQ 행렬 곱 커널 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 IQ3_S MMQ 행렬 곱 커널에 대한 지원을 도입한 버전 b11035를 출시했습니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b11026, Qwen35MoE 의 gate_up_exps 건너뜀

llama.cpp 프로젝트는 TENSOR_SKIP 플래그가 설정되어 있을 때 gate_up_exps 를 건너뛰도록 하는 변경 사항을 도입한 빌드 b11026 을 출시했습니다. 이 수정은 MTP 텐서가 융합되었지만 로드되지 않은 Qwen35MoE 모델에 특히 필요합니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b11019는 임베디드 파일에 대한 GGUF 데이터 정렬을 수정하고 LoRA 로딩을 추가합니다

llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.