github llama.cpp · 1시간 전 · inference

llama.cpp b10293이 gfx1151용 ROCm CI를 추가하고 RDNA3.5 추론을 수정함

번역 English → 한국어

llama.cpp 프로젝트가 빌드 b10293을 출시했으며, 여기에는 gfx1151 아키텍처에 대한 AMD ROCm 지속적 통합 온보딩과 통합 RDNA3.5 GPU의 정확성 문제가 해결되었습니다.

디버그 어설트에서 통합-GPU 호스트 출력 버퍼를 허용하여 gfx1151의 test-recurrent-state-rollback을 수정했습니다.
mmap으로 로드된 가중치와의 GPU 일관성 문제를 우회하기 위해 통합 메모리를 활성화하여 RDNA3.5에서의 추론 정확성을 복원했습니다.
HIP 경로에서 비동기 실행 오류를 해결하기 위해 HIP_LAUNCH_BLOCKING=1을 사용하여 커널 시작을 직렬화했습니다.
지원되지 않는 작업과 잘못된 출력으로 인해 HIP 백엔드에서 jamba 아키텍처 테스트 및 top-k 하위 테스트를 건너뛰었습니다.

이 업데이트는 ROCm을 통해 AMD RDNA3.5 하드웨어에서 llama.cpp 모델의 신뢰할 수 있는 테스트와 추론을 가능하게 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10255이 oneDNN SDPA를 비FP16 KV 캐시에 확장

llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.

github llama.cpp · 2일 전

llama.cpp b10246, 대형 q6_K lm_head을 평평한 GEMV로 라우팅

llama.cpp 프로젝트는 특정 모델 구성에 대한 OpenCL 성능 수정을 포함한 버전 b10246을 출시했습니다. 이 업데이트는 원래 차원 조건이 큰 가중치를 처리하기에 불충분했던 문제를 해결합니다.

github llama.cpp · 3일 전 · 조회수 6회

llama.cpp b10236이 Metal DSv4 Lightning Indexer 구현

llama.cpp b10236 릴리스는 DSv4 Lightning Indexer의 Metal 구현을 도입했으며, F32 쿼리 및 가중치와 함께 F16 키 및 마스크를 사용하는 128차원 입력을 특별히 지원합니다.

github llama.cpp · 6일 전 · 조회수 8회

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.

github llama.cpp · 8일 전 · 조회수 2회

llama.cpp b10181은 공유 메모리가 48 KiB 미만인 장치에서 MMQ를 비활성화합니다

llama.cpp 프로젝트는 ggml-cuda의 수정 사항을 포함하는 빌드 b10181을 출시했습니다. 이 수정 사항은 블록당 공유 메모리가 48 KiB 미만인 GPU에서 행렬 곱셈 양자화(MMQ)를 비활성화합니다. 이전에는 MMQ 구성이 최소 48 KiB를 가정하여, 타일 크기가 사용 가능한 메모리를 초과하는 NVIDIA Pascal GPU 및 Moore Threads MTT S70과 같은 장치에서 치명적인 오류가 발생했습니다.