github llama.cpp · 2시간 전 · inference

llama.cpp가 소수 행의 MMA 행렬 곱셈을 BF16, Q2_K 및 기타 유형으로 확장

번역 English → 한국어

llama.cpp 프로젝트는 일반적인 소수 행 행렬 곱셈(MMA) 커널을 확장하여 BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 및 다양한 IQ 유형을 포함한 추가 소스 데이터 유형을 지원하도록 했습니다. 이 업데이트는 최적화된 커널이 16-가중치 디쿼ン타이저가 있는 모든 유형을 처리할 수 있게 하며, 성능이 현재 커널을 초과하기 시작하는 M3 Ultra 하드웨어에서 특정 행 수 임계값을 적용합니다.

새로운 지원에는 BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 및 IQ 유형이 포함됩니다.
유형별 성능 임계값은 다음과 같습니다: TQ2_0의 경우 5행, BF16의 경우 4행, MXFP4/Q2_0/Q2_K/IQ4_NL의 경우 3행, 기타 유형의 경우 2행입니다.
M3 Ultra에서의 벤치마크 결과는 행 수와 커널 중첩에 따라 0.23에서 1.01까지의 성능 비율을 보여줍니다.

이 변경은 낮은 행 수에서 MMA 커널의 기능을 활용하여 더 넓은 범위의 양자화 형식에 대한 추론 효율성을 향상시킵니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

관련 기사

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp가 GLM5-Next MTP 지원을 추가하고 NextN 그래프를 최적화함

llama.cpp 프로젝트는 GLM5-Next 멀티 토큰 예측(MTP) 헤드에 대한 지원을 추가하여, 해당 아키텍처의 특정 요구사항을 처리하기 위해 새로운 그래프 구조를 구현했습니다. 이 업데이트에는 NextN 블록에 대한 최적화가 포함되어 있어, 헤드리스 순방향 전달 시 비활성 연산을 건너뛰고 숨겨진 행을 올바르게 추출할 수 있습니다.

github llama.cpp · 6시간 전 · 조회수 1회

llama.cpp b11463이 MKL flash attention으로 GLM MLA prefill 가속화

llama.cpp b11463 릴리스에는 이전에 디스패처에 의해 거부되었던 GLM-4.7 Flash의 특정 Multi-Latent Attention (MLA) 형태에 대해 MKL flash attention을 활성화하는 SYCL 업데이트가 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 27회

llama.cpp b11413에 양자화된 K/V를 위한 Vulkan 희소 플래시 어텐션 추가

llama.cpp b11413 릴리스는 양자화된 Key 및 Value 텐서를 지원하는 새로운 Vulkan 기반 희소 플래시 어텐션 구현을 도입합니다. 이 업데이트는 큰 컨텍스트 윈도우를 가진 디코딩 작업에는 비용이 너무 많이 드는 이전 컴팩션 방법의 성능 문제를 해결합니다.

github llama.cpp · 7일 전 · 조회수 44회

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 10일 전 · 조회수 33회

llama.cpp b11207이 Hexagon용 Q4_0 및 Q8_0 GET_ROWS 타일 지원 추가

llama.cpp 프로젝트는 Hexagon 백엔드에서 타일화된 Q4_0 및 Q8_0 GET_ROWS 연산에 대한 지원을 도입한 빌드 b11207을 출시했습니다. 이 업데이트에는 매크로, 레지스터 스플릴 및 DMA 파이프라인에 대한 수정과 함께 커널 선택 로직 개선 및 벡터화 재활성화가 포함됩니다.