github llama.cpp · 2일 전 · inference

llama.cpp b11013이 Vulkan im2col 셰이더의 buffer_reference 정렬을 수정함

번역 English → 한국어

llama.cpp b11013 릴리스는 im2col 및 im2col_3d 셰이더에서 buffer_reference 정렬을 수정하여 Vulkan의 검증 오류를 해결했습니다. 이 수정은 포인터 스트라이드를 실제 쓰기 크기에 맞게 정렬하여 GPU-AV 검증 히트를 제거하고 issue #28960을 해결했습니다.

im2col.comp 및 im2col_3d.comp의 정렬되지 않은 쓰기로 인해 트리거된 VUID-RuntimeSpirv-PhysicalStorageBuffer64-06315를 수정함.
float (4) 및 float16_t (2)에 대한 버전별 정의와 일치하도록 buffer_reference_align = D_SIZE를 설정함.
IM2COL 및 IM2COL_3D 작업 모두에 대해 검증 히트를 20에서 0으로 줄임.

이 변경은 지원되는 플랫폼에서 GPU 가속 추론을 위한 올바른 Vulkan 검증 동작을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b11043이 head_dim=72로 HMX flash-attention 허용

llama.cpp 프로젝트는 HMX flash-attention 구현에 변경 사항을 포함하는 빌드 b11043을 출시했습니다. 이 업데이트는 64의 배수가 아닌 헤드 차원을 지원하도록 활성화하며, 특히 SigLIP의 head_dim=72와 같은 구성을 허용합니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b11042가 OpenCL A8 Q6_K 이진 커널 추가

llama.cpp 프로젝트는 A8 Q6_K 비-MoE 모델을 위한 새로운 OpenCL 이진 커널을 도입한 버전 b11042를 출시했습니다. 이 업데이트에는 OpenCL 백엔드 내의 레이아웃 호환성 수정도 포함되어 있습니다.