github llama.cpp · 1시간 전 · inference

llama.cpp b10534가 더 빠른 디코딩을 위해 하드웨어별 CUDA 전환 지점을 추가

번역 English → 한국어

llama.cpp 프로젝트는 양자화된 디코딩 시 CUDA에서 벡터와 텐서 코어 경로 간의 크로스오버를 조정하기 위한 하드웨어별 전환 지점을 도입한 빌드 b10534를 출시했습니다.

릴리스는 mul_mat_vec_q에서 MMQ로 커널이 전환되는 배치 크기 임계값을 조정하기 위해 GGML_CUDA_MMVQ_MAX를 통한 런타임 구성을 추가합니다.
Blackwell, DGX Spark, Ada 아키텍처에 대한 특정 전환 지점 값이 포함되어 환경 변수에 대한 의존성을 줄였습니다.
이 임계값을 낮추면 더 큰 배치를 int8 MMQ 텐서 코어 경로로 라우팅하여 RTX 5090에서 Q4_K 밀집 모델의 배치 크기 8에서 측정된 23-41% 속도 향상을 가져옵니다.
이 업데이트에는 CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 백엔드 전반에 걸쳐 macOS, Linux, Windows, Android, openEuler용 바이너리가 포함됩니다.

이 변경사항은 배치 크기와 하드웨어 기능에 따라 가장 효율적인 커널 경로를 자동으로 선택하여 최신 NVIDIA GPU의 추론 성능을 향상시킵니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hardware & chips Inference efficiency

관련 기사

lab Hugging Face Blog · 3일 전 · 조회수 5회

제약 조건 인식 GPU 할당기가 FIFO 대비 활용도와 우선순위 가중 출력 개선

제약 조건 인식 GPU 할당기가 7가지 시나리오에서 FIFO 스케줄러와 벤치마킹되었으며, 동일한 하드웨어에서 GPU 활용도를 최대 33%p 높이고 우선순위 가중 출력을 최대 105% 개선했습니다. 이 시스템은 실시간 추론 수요를 정적 예약이 아닌 변동 곡선으로 처리하여, 연속 GPU 블록과 비선점성 같은 엄격한 제약을 준수하면서 저조기 동안 배치 유사 작업을 통해 용량을 채웁니다.

media r/LocalLLaMA · 4일 전 · 조회수 22회

NVIDIA, GB300 NVL72에서 GPU당 4K tok/s로 Qwen 3.8 2.4T 서빙

NVIDIA는 구성 가능한 추론 기능을 갖춘 Qwen 3.8 2.4T 파라미터 모델을 자체 GB300 NVL72 하드웨어 플랫폼에서 서빙하는 것을 시연했습니다.

github llama.cpp · 14일 전 · 조회수 26회

llama.cpp b10306이 SYCL GLU 평탄 경로 추가 및 커널 통합

llama.cpp b10306 릴리스는 게이트드 리니어 유닛(GLU) 연산을 대상으로 하는 SYCL 백엔드의 성능 최적화를 도입합니다. 이 업데이트는 융합된 GLU 연산에 대한 연속적인 고속 경로를 추가하고, 이전에 별개였던 커널을 통합하여 공통 런처를 공유하도록 합니다.

github llama.cpp · 17일 전 · 조회수 31회

llama.cpp b10255이 oneDNN SDPA를 비FP16 KV 캐시에 확장

llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.

media r/LocalLLaMA · 21일 전 · 조회수 27회

Lucebox와 AMD가 DeepSeek V4 Flash에서 Nvidia DGX Spark를 3.63배 앞지름

Lucebox는 Nvidia DGX Spark보다 추론 속도가 뛰어난 이종 소비자 하드웨어 구성을 시연하기 위해 AMD와 파트너십을 맺었습니다. 이 시스템은 전체 284B DeepSeek V4 Flash 모델을 실행하기 위해 AMD Radeon AI PRO R9700 GPU와 Strix Halo 프로세서를 결합합니다.