github llama.cpp · 3일 전 · inference

llama.cpp b11070, 64비트 매핑을 위한 Hexagon 버퍼 및 DMA 처리 전면 개편

번역 English → 한국어

llama.cpp 프로젝트가 버전 b11070을 출시했으며, 여기에는 64비트 메모리 매핑과 확장된 버퍼 처리를 지원하기 위해 Hexagon 백엔드가 대폭 개편되었습니다. 이 업데이트는 Qualcomm Hexagon DSP에서 더 큰 모델과 복잡한 작업에 대한 적절한 DMA(Direct Memory Access) 지원을 가능하게 합니다.

`hex-dma64` 모듈을 통해 확장된 버퍼 매핑과 64비트 DMA를 활성화했습니다.
더 많은 DMA 시나리오를 지원하기 위해 이항 연산을 확장하고, SSM_CONV가 64비트 지원을 사용하는 DMA로 업데이트되었습니다.
더 큰 모델에서 제거를 방지하기 위해 메모리 매핑(mmaps) 수를 64로 증가시켰습니다.
HVX 레지스터 사용을 개선하기 위해 softmax 및 GDN 루프를 재작성하여 DMA를 활용했습니다.
너무 큰 DMA 트랜잭션을 위한 대체 수단으로 보조 링을 추가했습니다.

이 릴리스에는 CPU, GPU(CUDA, Vulkan, ROCm), NPU 백엔드용 macOS, Linux, Windows, Android, openEuler용 바이너리가 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 12시간 전 · 조회수 3회

llama.cpp v0.5.0이 HRM-Text 지원, CUDA conv2d 가속 및 다중 주소 바인딩을 추가합니다

llama.cpp 프로젝트는 백엔드 성능, 광범위한 모델 커버리지, 그리고 더 견고한 서버 운영에 중점을 둔 버전 0.5.0을 출시했습니다. 이 업데이트는 HRM-Text (DFM Mimir 1B) 및 MiMo-V2.6과 같은 새로운 아키텍처에 대한 지원을 도입하고, CUDA 및 Metal 최적화를 통해 계산 효율성을 크게 향상시킵니다.

github llama.cpp · 15시간 전 · 조회수 11회

llama.cpp b11147이 A8 Q6_K non-MoE dp4a OpenCL 커널 추가

llama.cpp 프로젝트는 버전 b11147을 출시했으며, 이는 OpenCL용 새로운 이진 커널을 도입합니다. 이 업데이트는 특히 A8 Q6_K non-MoE dp4a 구성에 대한 지원을 추가합니다.

github llama.cpp · 20시간 전 · 조회수 12회

llama.cpp b11132, Gemma 4 DSpark 드래프트 백본 지원 추가

llama.cpp 프로젝트가 버전 b11132를 출시하며 Gemma 4 DSpark 드래프트 백본에 대한 지원을 도입했습니다. 이 업데이트는 전체 주의와 SWA Gemma 4 드래프트에 대한 GGUF 변환 및 런타임 기능을 활성화하며, 결합된 출력 가중치와 부울형 백본 메타데이터를 포함합니다.

github llama.cpp · 1일 전 · 조회수 12회

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 2일 전 · 조회수 14회

llama.cpp b11111이 Intel Xe용 flash attention 최적화 커널 추가

llama.cpp 프로젝트는 Xe-LPG Plus, Xe2 및 Xe3 아키텍처의 split k 경로에 대한 Vulkan 기반 flash attention 최적화 커널을 도입한 빌드 b11111을 출시했습니다.