github llama.cpp · 방금 · inference

llama.cpp b11158, Adreno GPU용 KHR cooperative matrix 지원 활성화

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드를 통해 Adreno GPU에 특별히 조정된 KHR cooperative matrix 지원을 포함하는 빌드 b11158을 출시했습니다.

호환되는 하드웨어에서 성능을 향상시키기 위해 Vulkan 백엔드에 cooperative matrix (coopmat) 지원을 활성화했습니다.
구현 내 mul_mat_s 함수를 수정했습니다.
코드베이스에서 디버그 문장을 제거했습니다.

이 업데이트는 Linux 및 Android를 실행하는 Snapdragon 장치와 Adreno 그래픽이 탑재된 Windows arm64 시스템에 최적화된 GPU 가속을 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp v0.5.0이 HRM-Text 지원, CUDA conv2d 가속 및 다중 주소 바인딩을 추가합니다

llama.cpp 프로젝트는 백엔드 성능, 광범위한 모델 커버리지, 그리고 더 견고한 서버 운영에 중점을 둔 버전 0.5.0을 출시했습니다. 이 업데이트는 HRM-Text (DFM Mimir 1B) 및 MiMo-V2.6과 같은 새로운 아키텍처에 대한 지원을 도입하고, CUDA 및 Metal 최적화를 통해 계산 효율성을 크게 향상시킵니다.

github llama.cpp · 17시간 전 · 조회수 11회

llama.cpp b11147이 A8 Q6_K non-MoE dp4a OpenCL 커널 추가

llama.cpp 프로젝트는 버전 b11147을 출시했으며, 이는 OpenCL용 새로운 이진 커널을 도입합니다. 이 업데이트는 특히 A8 Q6_K non-MoE dp4a 구성에 대한 지원을 추가합니다.

github llama.cpp · 22시간 전 · 조회수 12회

llama.cpp b11132, Gemma 4 DSpark 드래프트 백본 지원 추가

llama.cpp 프로젝트가 버전 b11132를 출시하며 Gemma 4 DSpark 드래프트 백본에 대한 지원을 도입했습니다. 이 업데이트는 전체 주의와 SWA Gemma 4 드래프트에 대한 GGUF 변환 및 런타임 기능을 활성화하며, 결합된 출력 가중치와 부울형 백본 메타데이터를 포함합니다.

github llama.cpp · 1일 전 · 조회수 13회

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 2일 전 · 조회수 14회

llama.cpp b11111이 Intel Xe용 flash attention 최적화 커널 추가

llama.cpp 프로젝트는 Xe-LPG Plus, Xe2 및 Xe3 아키텍처의 split k 경로에 대한 Vulkan 기반 flash attention 최적화 커널을 도입한 빌드 b11111을 출시했습니다.