github llama.cpp · 방금 · inference

llama.cpp b11160이 AMD RDNA3/4용 int8 coopmat1 행렬 곱과 IQ4_XS 지원을 추가했습니다

번역 English → 한국어

llama.cpp 프로젝트는 버전 b11160을 출시하여 AMD RDNA3 및 RDNA4 아키텍처의 Vulkan에서 int8 협력 행렬(coopmat1) 구현을 도입했습니다. 이 업데이트에는 성능을 개선하기 위해 coopmat 값을 직접 probing하는 전용 셰이더가 포함되어 있습니다.

mul_mmq_cm1 정수 행렬 곱 셰이더에 IQ4_XS 양자화 지원을 추가했습니다.
Vulkan 백엔드를 위한 인라인 스케일 적용, 스칼라 합산 및 더블 버퍼링을 구현했습니다.
q8_0, q4_1, q5_0, q5_1, iq4_nl, mxfp4, q3_k, q4_k, q5_k, q6_k 및 nvfp4 양자화를 지원합니다.
CPU, CUDA, ROCm, OpenVINO 및 SYCL 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 포함합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

원문 보기

EdgeFirst이 20개 엣지 플랫폼에서 YOLO 모델 검증용 Rust 파이프라인 발표

EdgeFirst은 Hugging Face에 EdgeFirst Model Zoo를 게시했으며, 여기에는 20개의 서로 다른 엣지 플랫폼에서 검증된 YOLOv5, YOLOv8, YOLO11 및 YOLO26 모델이 포함되어 있습니다. 이 검증은 대상 하드웨어에서 직접 제로 복사 DMA 전처리, 모델 디코딩 및 후처리를 처리하는 단일 Rust 파이프라인에 의존합니다.

github llama.cpp · 51일 전 · 조회수 35회

llama.cpp b10255이 oneDNN SDPA를 비FP16 KV 캐시에 확장

llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.

media r/LocalLLaMA · 81일 전 · 조회수 29회

llama.cpp, gfx900 GPU의 dense prefill에 hipBLAS 사용

llama.cpp 저장소에 대한 풀 리퀘스트는 AMD gfx900 아키텍처 GPU에서 dense prefill 연산에 hipBLAS를 활용하는 변경 사항을 도입합니다. 이 수정은 Radeon RX Vega 56/64 및 Radeon Pro Vega 시리즈와 같은 레거시 Vega GPU 하드웨어를 특별히 대상으로 합니다.

github llama.cpp · 4시간 전 · 조회수 2회

llama.cpp b11158, Adreno GPU용 KHR cooperative matrix 지원 활성화

llama.cpp 프로젝트는 Vulkan 백엔드를 통해 Adreno GPU에 특별히 조정된 KHR cooperative matrix 지원을 포함하는 빌드 b11158을 출시했습니다.

github llama.cpp · 18시간 전 · 조회수 3회

llama.cpp v0.5.0이 HRM-Text 지원, CUDA conv2d 가속 및 다중 주소 바인딩을 추가합니다

llama.cpp 프로젝트는 백엔드 성능, 광범위한 모델 커버리지, 그리고 더 견고한 서버 운영에 중점을 둔 버전 0.5.0을 출시했습니다. 이 업데이트는 HRM-Text (DFM Mimir 1B) 및 MiMo-V2.6과 같은 새로운 아키텍처에 대한 지원을 도입하고, CUDA 및 Metal 최적화를 통해 계산 효율성을 크게 향상시킵니다.