github llama.cpp · 1시간 전 · inference

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

번역 English → 한국어

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

ggml-hexagon은 이제 1D 및 패딩된 IM2COL 작업을 수락합니다.
pure-DDR IM2COL 커널이 2D-aware가 되었습니다.
IM2COL DMA patch-embed 빠른 경로가 1D로 확장되었습니다.
blocked-staging 일반 IM2COL DMA 커널이 추가되었습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

github llama.cpp · 12시간 전 · 조회수 1회

llama.cpp b11035이 Vulkan용 IQ3_S MMQ 행렬 곱 커널 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 IQ3_S MMQ 행렬 곱 커널에 대한 지원을 도입한 버전 b11035를 출시했습니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b11026, Qwen35MoE 의 gate_up_exps 건너뜀

llama.cpp 프로젝트는 TENSOR_SKIP 플래그가 설정되어 있을 때 gate_up_exps 를 건너뛰도록 하는 변경 사항을 도입한 빌드 b11026 을 출시했습니다. 이 수정은 MTP 텐서가 융합되었지만 로드되지 않은 Qwen35MoE 모델에 특히 필요합니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b11019는 임베디드 파일에 대한 GGUF 데이터 정렬을 수정하고 LoRA 로딩을 추가합니다

llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.