github llama.cpp · 3시간 전 · inference

llama.cpp b11043이 head_dim=72로 HMX flash-attention 허용

번역 English → 한국어

llama.cpp 프로젝트는 HMX flash-attention 구현에 변경 사항을 포함하는 빌드 b11043을 출시했습니다. 이 업데이트는 64의 배수가 아닌 헤드 차원을 지원하도록 활성화하며, 특히 SigLIP의 head_dim=72와 같은 구성을 허용합니다.

HMX flash-attention 커널은 이제 DK/DV를 64로 올림하고 제로 채워진 테일 레인에서 작동합니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android 및 openEuler에 대한 사전 빌드된 바이너리가 제공됩니다.

이 변경으로 사용자는 호환성 문제 없이 지원되는 하드웨어에서 비표준 헤드 차원을 가진 모델을 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b11042가 OpenCL A8 Q6_K 이진 커널 추가

llama.cpp 프로젝트는 A8 Q6_K 비-MoE 모델을 위한 새로운 OpenCL 이진 커널을 도입한 버전 b11042를 출시했습니다. 이 업데이트에는 OpenCL 백엔드 내의 레이아웃 호환성 수정도 포함되어 있습니다.

github llama.cpp · 9시간 전 · 조회수 1회

llama.cpp b11039 모델 저장소 및 로더에 SWA 패턴 지원 추가

llama.cpp 프로젝트가 빌드 b11039를 출시하여, SWA를 사용하는 모든 모델에 대해 슬라이딩 윈도우 어텐션(SWA) 패턴과 MLA SWA 기하학을 기록하도록 모델 저장소를 업데이트했습니다. 이 변경으로 `sliding_window_pattern`이 스칼라로 축소되지 않고 레이어별 플래그로 기록되어 정확한 데이터 표현이 보존됩니다.