github llama.cpp · 방금 · inference

llama.cpp b10410이 gemm non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거

번역 English → 한국어

llama.cpp 프로젝트는 SYCL 백엔드에 대한 코드 변경을 포함하는 버전 b10410을 출시했습니다. 이 업데이트는 GEMM non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거하고 대신 자동 fp16 승격을 사용합니다.

릴리스에는 macOS (Apple Silicon 및 Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) 및 openEuler에 대한 바이너리가 제공됩니다.
이 릴리스에서는 macOS Apple Silicon KleidiAI 지원이 비활성화되었습니다.
Ubuntu x64 ROCm 7.14 지원도 비활성화되었습니다.
UI 구성 요소는 별도 다운로드로 제공됩니다.

이 업데이트는 명시적 처리 대신 자동 타입 승격에 의존하여 SYCL GEMM 구현을 단순화합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10408이 Q3_K ESIMD 커널을 추가하고 런타임으로 제어를 이동

llama.cpp 프로젝트는 Intel GPU용 DMMV Q3_K ESIMD 커널을 도입한 버전 b10408을 출시했습니다. 이 릴리스에는 새로운 Q4_K 및 Q6_K ESIMD 커널도 포함되어 있으며, ESIMD 제어를 컴파일 시점이 아닌 런타임에서 가능하도록 코드베이스를 리팩토링했습니다.

github llama.cpp · 3일 전

llama.cpp b10353이 CUDA 및 Metal ROLL 커널의 침묵한 잘못된 결과를 수정

llama.cpp 프로젝트는 CUDA 및 Metal 백엔드에서 ggml_roll 연산에 대한 중요한 버그를 해결하는 빌드 b10353을 출시했습니다. 이전에는 이러한 백엔드가 스트라이드 정보를 무시했기 때문에 치환된(연속되지 않은) 소스 텐서가 침묵한 잘못된 결과를 생성했습니다.

github llama.cpp · 6일 전 · 조회수 1회

llama.cpp b10321은 부분 simdgroup 행 길이에 대한 NORM/RMS_NORM을 수정합니다

llama.cpp 프로젝트는 Metal에서 GGML_OP_NORM 및 GGML_OP_RMS_NORM 연산에 대한 중요한 수정 사항을 포함하는 버전 b10321을 출시했습니다. 이 업데이트는 스레드 그룹 크기가 부분 SIMD 그룹을 남기도록 설정되었을 때, 누락된 부분 합계로 인해 평균과 분산 계산이 잘못되는 문제를 해결합니다.

github llama.cpp · 7일 전 · 조회수 6회

llama.cpp b10293이 gfx1151용 ROCm CI를 추가하고 RDNA3.5 추론을 수정함

llama.cpp 프로젝트가 빌드 b10293을 출시했으며, 여기에는 gfx1151 아키텍처에 대한 AMD ROCm 지속적 통합 온보딩과 통합 RDNA3.5 GPU의 정확성 문제가 해결되었습니다.

github llama.cpp · 9일 전 · 조회수 3회

llama.cpp b10255이 oneDNN SDPA를 비FP16 KV 캐시에 확장

llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.