github llama.cpp · 1시간 전 · inference

llama.cpp b11006이 K-Quants Q4_K 및 Q6_K에 대한 Hexagon 지원을 추가

번역 English → 한국어

llama.cpp 프로젝트는 K-Quantization 형식을 처리하기 위해 Qualcomm Hexagon 프로세서에 대한 지원을 도입한 버전 b11006을 출시했습니다. 이 업데이트는 Hexagon 아키텍처에서 Q4_K 및 Q6_K 양자화 수준을 위한 특정 커널을 구현합니다.

Hexagon DSP를 위한 q6k 및 q4k 커널 구현.
hex-q6k 커널에 대한 언팩 정확도 개선.
Hexagon 하드웨어에서 Q4_K 커널에 대한 지원 추가.

이 릴리스는 CUDA, ROCm, Vulkan 및 OpenVINO를 포함한 다양한 CPU 및 GPU 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 사전 빌드된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp b10981, Gemma-4의 상태 디코딩 수정 및 GPU MoE 추론 최적화

llama.cpp b10981 릴리스는 OpenVINO 백엔드의 상태 디코딩 경로에서 중요한 정확성 문제를 해결하며, 특히 레이어별 헤드 크기를 사용하는 Gemma-4와 같은 모델에 대한 지원을 수정합니다. 또한 GPU Mixture of Experts (MoE) 추론을 위한 최적화를 도입하고 KV 상태 재배치를 통해 성능을 개선합니다.

github llama.cpp · 9일 전 · 조회수 21회

llama.cpp b10840이 CUDA에 대해 분기 없는 Q4_K/Q5_K 언팩 및 L2 프리페치 추가

llama.cpp 프로젝트는 CUDA 추론을 위한 성능 최적화를 도입한 버전 b10840을 출시했습니다. 이 업데이트는 행렬-벡터 곱셈(mmvp) 가속을 위해 Q4_K 및 Q5_K 양자화 형식에 대한 분기 없는 연산을 구현합니다.

github llama.cpp · 10일 전 · 조회수 21회

llama.cpp b10827이 q4_K 및 q5_K mul_mat에 대한 OpenCL 가중치 팩 선택을 수정함

llama.cpp 프로젝트는 OpenCL를 사용하여 q4_K 및 q5_K 행렬 곱셈 연산에 대한 가중치 팩을 올바르게 선택하기 위한 수정 사항이 포함된 버전 b10827을 출시했습니다.

github llama.cpp · 13일 전 · 조회수 28회

llama.cpp b10791이 OpenCL 양자화된 lm_head 및 디코딩 GEMV 최적화를 추가함

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

lab Hugging Face Blog · 15일 전 · 조회수 20회

Hugging Face가 207개의 WebGPU 커널과 브라우저 벤치마킹 도구를 출시

Hugging Face는 Hugging Face Hub에서 최적화된 WebGPU 커널을 로드하고 실행하기 위한 라이브러리인 @huggingface/kernels와 함께 초기 207개 커널 컬렉션을 출시했습니다. 이번 출시에는 사용자의 기기에서 성능과 정확성에 대한 증거를 크라우드소싱하는 브라우저 내 GPU 벤치마킹 스위트인 Fleet도 포함되어 있습니다.