github llama.cpp · 1시간 전 · inference

llama.cpp b10605, GEMM 디스패치를 위해 mamba2 투영을 평탄화

번역 English → 한국어

llama.cpp 프로젝트는 Mamba2 아키텍처를 위한 핵심 최적화를 포함한 빌드 b10605를 출시했습니다. 이 업데이트는 Mamba2 모델의 입력 및 출력 투영을 평탄화하여 일반 행렬-벡터(GEMV) 연산 대신 일반 행렬 곱셈(GEMM) 연산을 디스패치합니다.

GEMV 대신 GMM 디스패칭을 활성화하기 위해 mamba2 입출력 투영을 평탄화합니다.
Mamba2 구현 내의 중복 출력 리쉐이프 연산을 제거합니다.

이 릴리스는 CPU, CUDA, ROCm, Vulkan 및 OpenVINO을 포함한 다양한 하드웨어 백엔드에서 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10603이 GLM-4.5-Air에 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10603을 출시하여 GLM-4.5-Air 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

github llama.cpp · 2일 전 · 조회수 2회

ggml이 요소별 memcpy를 행 수준 memcpy로 교체하여 concat 연산을 최적화합니다

ggml 라이브러리는 요소별 메모리 복사 대신 행 수준 memcpy 작업을 사용하여 연결(concat) 연산을 최적화했습니다. 이 변경은 llama.cpp의 b10578 릴리스의 일부이며, 여기에는 다양한 플랫폼별 바이너리와 기본 계산 그래프의 업데이트가 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10576이 SYCL를 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널 추가

llama.cpp 프로젝트는 SYCL 지원을 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널을 다시 추가한 빌드 b10576을 출시했습니다. 이 변경은 이전에 이러한 특정 커널 구현을 제거했던 이전 커밋을 효과적으로 되돌립니다.

github llama.cpp · 2일 전 · 조회수 6회

llama.cpp b10577이 임베딩과 함께 draft-mtp 수정

llama.cpp 프로젝트는 임베딩과 함께 사용할 때 draft-mtp에 대한 수정을 포함한 빌드 b10577을 출시했습니다. 이 업데이트는 문제 #26352 및 #27299를 해결합니다.

github llama.cpp · 2일 전 · 조회수 9회

llama.cpp b10568, DeepSeek 2에 ggml_rope_set_offset() 사용

llama.cpp 프로젝트는 `ggml_rope_set_offset()` 함수를 사용하도록 모델 처리를 업데이트한 빌드 b10568을 출시했습니다. 이 변경은 DeepSeek 2 지원을 위해 부분적으로 적용되었습니다.