github llama.cpp · 4일 전 · inference

llama.cpp b10829는 flash-linear-attention과 일치하도록 GDN 정규화를 수정함

번역 English → 한국어

llama.cpp 프로젝트는 게이트드 델타 넷(GDN) 쿼리/키 정규화 구현을 수정한 빌드 b10829를 출시했습니다. 이 변경은 정규화 방법을 `max`에서 `rsqrt`로 전환하여 flash-linear-attention에서 사용하는 정의와 일치시킵니다.

GDN q/k 정규화는 이제 flash-linear-attention이 정의한 대로 `l2norm`을 사용합니다: `x * rsqrt(sum(x*x) + eps)`.
이전에는 llama.cpp가 `ggml_l2_norm`을 사용했으며, 이는 제곱근 안에 이타를 포함하는 대신 `max(sqrt(sum(x*x)), eps)`를 통해 클램프를 적용했습니다.
이 수정은 pull request #40842에서 수정되기 전 Qwen3-Next에 대한 Hugging Face의 transformers 라이브러리에도 영향을 미쳤던 불일치를 해결합니다.
이 업데이트는 이타가 제곱근 계산 내에 포함되는 참조 구현과의 일관성을 보장합니다.

이 수정은 flash-linear-attention 기반과 같은 GDN 레이어를 사용하는 모델이 참조 구현과 동일하게 동작하도록 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10888이 GPU 프로파일러를 위한 Vulkan 명령 버퍼 디버그 레이블 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 GPU 프로파일러를 위한 명령 버퍼 디버그 레이블을 추가하는 새로운 기능을 포함하는 빌드 b10888을 출시했습니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10886이 s390x에 대한 Q1_0 벡터 내장 지원 추가

llama.cpp 프로젝트는 s390x 아키텍처에 대한 Q1_0 벡터 내장 지원을 도입한 빌드 b10886을 출시했습니다. 이 업데이트에는 `ggml_vec_dot_q1_0_q8_0` 구현이 포함되어 있으며, 새로운 기능을 반영하기 위해 문서가 업데이트되었습니다.

github llama.cpp · 18시간 전 · 조회수 1회

llama.cpp b10883이 Vulkan 행렬 곱을 수정하고 Ampere 최적화를 복원

llama.cpp 프로젝트는 Vulkan 백엔드에 대한 중요한 업데이트를 포함한 빌드 b10883을 출시했습니다. 주요 변경 사항에는 셰이더 컴파일 및 성능을 개선하기 위해 행렬-행렬 곱셈 A형 연산에 spec constant를 사용하는 것이 포함됩니다.

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b10870이 Intel coopmat1을 위한 f16 B형 행렬 곱셈 파이프라인과 와프 타일 튜닝을 추가했습니다

llama.cpp 프로젝트는 버전 b10870을 출시하며 Intel coopmat1 하드웨어를 위한 f16 B형 행렬 곱셈 파이프라인 및 와프 타일 크기 튜닝에 대한 Vulkan 지원을 도입했습니다.

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b10871이 Vulkan용 전용 iq4_xs mat-vec 셰이더 추가

llama.cpp 프로젝트는 빌드 b10871을 출시하여 Vulkan의 dmmv 경로에 전용 mul_mat_vec_iq4_xs 셰이더를 도입했습니다. 이 변경은 RDNA4 하드웨어에서 성능을 향상시키기 위해 이전의 일반적인 폴백 구현을 대체합니다.