github llama.cpp · 3일 전 · inference

llama.cpp b10840이 CUDA에 대해 분기 없는 Q4_K/Q5_K 언팩 및 L2 프리페치 추가

번역 English → 한국어

llama.cpp 프로젝트는 CUDA 추론을 위한 성능 최적화를 도입한 버전 b10840을 출시했습니다. 이 업데이트는 행렬-벡터 곱셈(mmvp) 가속을 위해 Q4_K 및 Q5_K 양자화 형식에 대한 분기 없는 연산을 구현합니다.

분기 없는 언팩은 mmvp의 각 열에 대해 스케일 재실행을 방지하여 배치 크기가 1보다 클 때 성능을 향상시킵니다.
L2 프리페치 로직은 DGX Spark 하드웨어에 대해 특별히 게이트되어 이점이 실현되도록 합니다.
mmvp L2 프리페치 가드는 CUDA와 함께 MUSA 및 HIP 백엔드를 지원하도록 확장되었습니다.
Q4_K의 스위치 포인트는 더 넓은 범위의 모델을 수용하기 위해 업데이트되었습니다.

이러한 변경은 1보다 큰 배치 크기로 DGX Spark 시스템에서 llama.cpp를 실행하는 사용자에게 측정 가능한 성능 향상을 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

관련 기사

github llama.cpp · 4일 전 · 조회수 9회

llama.cpp b10827이 q4_K 및 q5_K mul_mat에 대한 OpenCL 가중치 팩 선택을 수정함

llama.cpp 프로젝트는 OpenCL를 사용하여 q4_K 및 q5_K 행렬 곱셈 연산에 대한 가중치 팩을 올바르게 선택하기 위한 수정 사항이 포함된 버전 b10827을 출시했습니다.

github llama.cpp · 7일 전 · 조회수 21회

llama.cpp b10791이 OpenCL 양자화된 lm_head 및 디코딩 GEMV 최적화를 추가함

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

lab Hugging Face Blog · 9일 전 · 조회수 13회

Hugging Face가 207개의 WebGPU 커널과 브라우저 벤치마킹 도구를 출시

Hugging Face는 Hugging Face Hub에서 최적화된 WebGPU 커널을 로드하고 실행하기 위한 라이브러리인 @huggingface/kernels와 함께 초기 207개 커널 컬렉션을 출시했습니다. 이번 출시에는 사용자의 기기에서 성능과 정확성에 대한 증거를 크라우드소싱하는 브라우저 내 GPU 벤치마킹 스위트인 Fleet도 포함되어 있습니다.

github llama.cpp · 10일 전 · 조회수 19회

llama.cpp b10718이 specdec 및 멀티 토큰에 MOE 융합을 확장

llama.cpp 프로젝트는 CUDA 백엔드에 중요한 업데이트를 포함하는 버전 b10718을 출시했습니다. 가장 주목할 만한 변경은 Mixture of Experts (MOE) 융합을 스펜크티브 디코딩(specdec) 지원을 위해 확장하여, 이전 MOE glu 융합과 topk-router 융합이 한 번에 하나의 토큰만 처리하도록 제한되었던 문제를 해결한 것입니다.

github llama.cpp · 12일 전 · 조회수 19회

llama.cpp가 Adreno GPU에서 xmem GEMM을 활성화하고 타일된 f32를 우회함

llama.cpp 프로젝트는 두 세대 이상의 Adreno GPU에서 행렬 곱셈 성능을 개선하기 위해 OpenCL 백엔드를 업데이트했습니다. 이 변경사항은 기본적으로 xmem F16xF32 GEMM 경로를 채택하고 A7X 세대의 처리를 최적화하여 X2E 세대를 주로 타겟으로 합니다.