github llama.cpp · 방금 · inference

llama.cpp b10408이 Q3_K ESIMD 커널을 추가하고 런타임으로 제어를 이동

번역 English → 한국어

llama.cpp 프로젝트는 Intel GPU용 DMMV Q3_K ESIMD 커널을 도입한 버전 b10408을 출시했습니다. 이 릴리스에는 새로운 Q4_K 및 Q6_K ESIMD 커널도 포함되어 있으며, ESIMD 제어를 컴파일 시점이 아닌 런타임에서 가능하도록 코드베이스를 리팩토링했습니다.

DMMV Q3_K, Q4_K 및 Q6_K ESIMD 커널 추가.
ESIMD 제어를 컴파일 시간 구성에서 런타임으로 이동.
사용 가능한 경우 ESIMD를 기본값으로 사용하고 이 기본 동작과 관련된 잠재적 오류 수정.
ESIMD 커널에 대한 명시적 언롤 지시문 포함 및 커널 코드 정리.

이 업데이트는 CPU, CUDA, Vulkan, OpenCL, ROCm 및 SYCL 백엔드를 위한 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10353이 CUDA 및 Metal ROLL 커널의 침묵한 잘못된 결과를 수정

llama.cpp 프로젝트는 CUDA 및 Metal 백엔드에서 ggml_roll 연산에 대한 중요한 버그를 해결하는 빌드 b10353을 출시했습니다. 이전에는 이러한 백엔드가 스트라이드 정보를 무시했기 때문에 치환된(연속되지 않은) 소스 텐서가 침묵한 잘못된 결과를 생성했습니다.

github llama.cpp · 6일 전 · 조회수 1회

llama.cpp b10321은 부분 simdgroup 행 길이에 대한 NORM/RMS_NORM을 수정합니다

llama.cpp 프로젝트는 Metal에서 GGML_OP_NORM 및 GGML_OP_RMS_NORM 연산에 대한 중요한 수정 사항을 포함하는 버전 b10321을 출시했습니다. 이 업데이트는 스레드 그룹 크기가 부분 SIMD 그룹을 남기도록 설정되었을 때, 누락된 부분 합계로 인해 평균과 분산 계산이 잘못되는 문제를 해결합니다.

github llama.cpp · 7일 전 · 조회수 6회

llama.cpp b10293이 gfx1151용 ROCm CI를 추가하고 RDNA3.5 추론을 수정함

llama.cpp 프로젝트가 빌드 b10293을 출시했으며, 여기에는 gfx1151 아키텍처에 대한 AMD ROCm 지속적 통합 온보딩과 통합 RDNA3.5 GPU의 정확성 문제가 해결되었습니다.

github llama.cpp · 9일 전 · 조회수 3회

llama.cpp b10255이 oneDNN SDPA를 비FP16 KV 캐시에 확장

llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.

github llama.cpp · 10일 전 · 조회수 1회

llama.cpp b10246, 대형 q6_K lm_head을 평평한 GEMV로 라우팅

llama.cpp 프로젝트는 특정 모델 구성에 대한 OpenCL 성능 수정을 포함한 버전 b10246을 출시했습니다. 이 업데이트는 원래 차원 조건이 큰 가중치를 처리하기에 불충분했던 문제를 해결합니다.