github llama.cpp · 1시간 전 · inference

llama.cpp b11463이 MKL flash attention으로 GLM MLA prefill 가속화

번역 English → 한국어

llama.cpp b11463 릴리스에는 이전에 디스패처에 의해 거부되었던 GLM-4.7 Flash의 특정 Multi-Latent Attention (MLA) 형태에 대해 MKL flash attention을 활성화하는 SYCL 업데이트가 포함되어 있습니다.

이 변경으로 576/576/512 GQA-20 F16 형태가 MKL 파이프라인에 허용되며, V cache는 K 행의 스트라이드 뷰로 처리됩니다.
메모리 트래픽을 줄이기 위해 MKL flash attention 점수를 F16으로 저장하려는 시도가 포함되었으나, 이 빌드에서 나중에 되돌려졌습니다.
Intel Arc Pro B70에서 MLA 최적화는 프롬프트 처리(pp8192)를 432.80에서 1292.29 tok/s로 개선하여 2.99배의 속도 향상을 달성했습니다.
이 릴리스는 CPU, CUDA, ROCm, Vulkan, OpenVINO 및 SYCL 백엔드를 위한 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp b11413에 양자화된 K/V를 위한 Vulkan 희소 플래시 어텐션 추가

llama.cpp b11413 릴리스는 양자화된 Key 및 Value 텐서를 지원하는 새로운 Vulkan 기반 희소 플래시 어텐션 구현을 도입합니다. 이 업데이트는 큰 컨텍스트 윈도우를 가진 디코딩 작업에는 비용이 너무 많이 드는 이전 컴팩션 방법의 성능 문제를 해결합니다.

github llama.cpp · 7일 전 · 조회수 44회

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 10일 전 · 조회수 33회

llama.cpp b11207이 Hexagon용 Q4_0 및 Q8_0 GET_ROWS 타일 지원 추가

llama.cpp 프로젝트는 Hexagon 백엔드에서 타일화된 Q4_0 및 Q8_0 GET_ROWS 연산에 대한 지원을 도입한 빌드 b11207을 출시했습니다. 이 업데이트에는 매크로, 레지스터 스플릴 및 DMA 파이프라인에 대한 수정과 함께 커널 선택 로직 개선 및 벡터화 재활성화가 포함됩니다.

github llama.cpp · 14일 전 · 조회수 47회

llama.cpp v0.5.0이 HRM-Text 지원, CUDA conv2d 가속 및 다중 주소 바인딩을 추가합니다

llama.cpp 프로젝트는 백엔드 성능, 광범위한 모델 커버리지, 그리고 더 견고한 서버 운영에 중점을 둔 버전 0.5.0을 출시했습니다. 이 업데이트는 HRM-Text (DFM Mimir 1B) 및 MiMo-V2.6과 같은 새로운 아키텍처에 대한 지원을 도입하고, CUDA 및 Metal 최적화를 통해 계산 효율성을 크게 향상시킵니다.

github llama.cpp · 14일 전 · 조회수 53회

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.