github llama.cpp · 3일 전 · inference

llama.cpp b11216이 512 이상의 블록 폭에 대한 SYCL FWHT 커널을 추가함

번역 English → 한국어

llama.cpp b11216 릴리스는 512보다 큰 블록 폭을 지원하는 SYCL 백엔드에서 Fast Walsh-Hadamard Transform (FWHT) 커널을 도입했습니다. 이전에는 더 큰 폭이 O(n^2) 복잡도를 가진 밀집 GEMM으로 폴백되었습니다; 이 변경은 이러한 크기에 대해 O(n log n) 성능을 가능하게 합니다.

새로운 `fwht_kernel_wide` 구현은 각 워크 그룹당 한 행을 실행하며 버터플라이 연산을 최적화하기 위해 로컬 메모리와 레지스터를 사용합니다.
Kronecker/Paley 구성을 통해 1024, 2048, 4096, 8192의 블록 폭을 지원합니다.
이 릴리스에는 CPU, GPU 및 NPU 백엔드 전반에 걸쳐 macOS, Linux, Windows, Android 및 openEuler용 바이너리가 포함되어 있습니다.
검증은 Intel oneAPI DPC++ 2026.1 SYCL CPU 장치에서 독립 실행형 하니스를 사용하여 수행되었으며, 참조 구현 대비 정확성이 확인되었습니다.

이 업데이트는 기존 하드웨어 구성과의 호환성을 유지하면서 SYCL 환경에서 큰 블록 크기의 계산 효율성을 개선합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 11시간 전 · 조회수 2회

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 21시간 전 · 조회수 2회

llama.cpp b11266는 Intel에서 Vulkan용 F32 A 행렬을 2개씩 로드합니다

llama.cpp 프로젝트는 Vulkan 최적화를 포함하는 빌드 b11266를 출시했으며, 이는 2-정렬된 경우 F32 A 행렬을 한 번에 두 요소씩 로드합니다. 이 변경은 부동소수점을 하나씩 로드하는 것이 비효율적인 Intel 하드웨어의 성능 문제를 해결하고, 원래 패치에서 누락된 `a_offset` 정렬 검증도 수정합니다.

github llama.cpp · 22시간 전 · 조회수 1회

llama.cpp b11265 Vulkan MOE matmul 타일 선택 수정

llama.cpp b11265 릴리스에는 Vulkan 백엔드의 Mixture of Experts (MoE) 모델 처리에 대한 수정이 포함되어 있습니다. 이 업데이트는 `mat_mul_id`가 행렬 곱셈 타일을 선택하는 방식을 수정하여 디스패치 중 작업자가 대기 상태가 되는 성능 문제를 해결합니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b11238는 왼쪽 패딩을 위해 ggml_pad_ext를 추가하고 DFlash2 탭을 건너뜀

llama.cpp 프로젝트가 빌드 b11238를 출시하며, 새로운 `ggml_pad_ext` 함수를 통해 통합된 왼쪽 패딩 구현을 도입했습니다. 이 변경은 Parakeet, LFM2-Audio, Granite Speech, Gemma 4와 같은 오디오 인코더에서 사용되었던 이전 방법들을 통합하여 Gemma 4에 대해 비트 단위 일치 임베딩을 보장하고 백엔드 지원을 단순화합니다.

github llama.cpp · 2일 전 · 조회수 5회

llama.cpp b11232, x86에서 타일드 플래시 어텐션 활성화

llama.cpp 프로젝트는 ggml-cpu 백엔드에 대한 업데이트를 포함한 빌드 b11232를 출시했습니다. 이번 릴리스는 x86 아키텍처에서 벡터 배수가 아닌 헤드 차원에 대해 타일드 플래시 어텐션을 활성화하는 데 중점을 둡니다.