github llama.cpp · 2일 전 · inference

llama.cpp b11017이 mul_mm coopmat1 경로에서 불필요한 MoE 작업을 건너뜀

번역 English → 한국어

llama.cpp 프로젝트는 mul_mm coopmat1 경로에서 불필요한 Mixture of Experts (MoE) 작업을 건너뛰기 위한 Vulkan 최적화를 포함한 빌드 b11017을 출시했습니다.

이 업데이트에는 macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android 및 openEuler용 사전 빌드 바이너리가 제공됩니다.

릴리스에는 llama.cpp UI도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b11043이 head_dim=72로 HMX flash-attention 허용

llama.cpp 프로젝트는 HMX flash-attention 구현에 변경 사항을 포함하는 빌드 b11043을 출시했습니다. 이 업데이트는 64의 배수가 아닌 헤드 차원을 지원하도록 활성화하며, 특히 SigLIP의 head_dim=72와 같은 구성을 허용합니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b11042가 OpenCL A8 Q6_K 이진 커널 추가

llama.cpp 프로젝트는 A8 Q6_K 비-MoE 모델을 위한 새로운 OpenCL 이진 커널을 도입한 버전 b11042를 출시했습니다. 이 업데이트에는 OpenCL 백엔드 내의 레이아웃 호환성 수정도 포함되어 있습니다.