github llama.cpp · 1일 전 · inference

llama.cpp b10353이 CUDA 및 Metal ROLL 커널의 침묵한 잘못된 결과를 수정

번역 English → 한국어

llama.cpp 프로젝트는 CUDA 및 Metal 백엔드에서 ggml_roll 연산에 대한 중요한 버그를 해결하는 빌드 b10353을 출시했습니다. 이전에는 이러한 백엔드가 스트라이드 정보를 무시했기 때문에 치환된(연속되지 않은) 소스 텐서가 침묵한 잘못된 결과를 생성했습니다.

수정은 CUDA 및 Metal roll 커널 모두에 연속된 소스 요구사항을 추가하여 기존 GGML_OP_ROPE 가드와 일치합니다.
이 변경으로 스케줄러가 스트라이드를 올바르게 처리하는 CPU 구현으로 비연속 입력에 대해 폴백되도록 보장됩니다.
수정을 검증하기 위해 치환된 test_roll 사례가 추가되었습니다.

이 업데이트는 표준 이외의 메모리 레이아웃과 함께 ROLL 연산에 의존하는 모델에서의 데이터 손상을 방지합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10321은 부분 simdgroup 행 길이에 대한 NORM/RMS_NORM을 수정합니다

llama.cpp 프로젝트는 Metal에서 GGML_OP_NORM 및 GGML_OP_RMS_NORM 연산에 대한 중요한 수정 사항을 포함하는 버전 b10321을 출시했습니다. 이 업데이트는 스레드 그룹 크기가 부분 SIMD 그룹을 남기도록 설정되었을 때, 누락된 부분 합계로 인해 평균과 분산 계산이 잘못되는 문제를 해결합니다.

github llama.cpp · 6일 전 · 조회수 5회

llama.cpp b10293이 gfx1151용 ROCm CI를 추가하고 RDNA3.5 추론을 수정함

llama.cpp 프로젝트가 빌드 b10293을 출시했으며, 여기에는 gfx1151 아키텍처에 대한 AMD ROCm 지속적 통합 온보딩과 통합 RDNA3.5 GPU의 정확성 문제가 해결되었습니다.

github llama.cpp · 8일 전 · 조회수 2회

llama.cpp b10255이 oneDNN SDPA를 비FP16 KV 캐시에 확장

llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.

github llama.cpp · 8일 전 · 조회수 1회

llama.cpp b10246, 대형 q6_K lm_head을 평평한 GEMV로 라우팅

llama.cpp 프로젝트는 특정 모델 구성에 대한 OpenCL 성능 수정을 포함한 버전 b10246을 출시했습니다. 이 업데이트는 원래 차원 조건이 큰 가중치를 처리하기에 불충분했던 문제를 해결합니다.

github llama.cpp · 9일 전 · 조회수 6회

llama.cpp b10236이 Metal DSv4 Lightning Indexer 구현

llama.cpp b10236 릴리스는 DSv4 Lightning Indexer의 Metal 구현을 도입했으며, F32 쿼리 및 가중치와 함께 F16 키 및 마스크를 사용하는 128차원 입력을 특별히 지원합니다.