github llama.cpp · 1시간 전 · inference

llama.cpp b10603이 GLM-4.5-Air에 MTP 지원 추가

번역 English → 한국어

llama.cpp 프로젝트가 빌드 b10603을 출시하여 GLM-4.5-Air 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

pull request #26534를 통해 GLM-4.5-Air에 MTP 기능 추가.
macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리 제공.

이 릴리스로 사용자는 다양한 하드웨어 아키텍처에서 MTP와 함께 GLM-4.5-Air를 실행할 수 있게 됩니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

ggml이 요소별 memcpy를 행 수준 memcpy로 교체하여 concat 연산을 최적화합니다

ggml 라이브러리는 요소별 메모리 복사 대신 행 수준 memcpy 작업을 사용하여 연결(concat) 연산을 최적화했습니다. 이 변경은 llama.cpp의 b10578 릴리스의 일부이며, 여기에는 다양한 플랫폼별 바이너리와 기본 계산 그래프의 업데이트가 포함되어 있습니다.

github llama.cpp · 1일 전 · 조회수 3회

llama.cpp b10576이 SYCL를 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널 추가

llama.cpp 프로젝트는 SYCL 지원을 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널을 다시 추가한 빌드 b10576을 출시했습니다. 이 변경은 이전에 이러한 특정 커널 구현을 제거했던 이전 커밋을 효과적으로 되돌립니다.

github llama.cpp · 2일 전 · 조회수 2회

llama.cpp b10577이 임베딩과 함께 draft-mtp 수정

llama.cpp 프로젝트는 임베딩과 함께 사용할 때 draft-mtp에 대한 수정을 포함한 빌드 b10577을 출시했습니다. 이 업데이트는 문제 #26352 및 #27299를 해결합니다.

github llama.cpp · 2일 전 · 조회수 5회

llama.cpp b10568, DeepSeek 2에 ggml_rope_set_offset() 사용

llama.cpp 프로젝트는 `ggml_rope_set_offset()` 함수를 사용하도록 모델 처리를 업데이트한 빌드 b10568을 출시했습니다. 이 변경은 DeepSeek 2 지원을 위해 부분적으로 적용되었습니다.

github llama.cpp · 2일 전 · 조회수 11회

ggml 0.21.0 및 Kleidiai SME2 지원을 추가한 llama.cpp v0.2.0 출시

llama.cpp 프로젝트가 ggml 라이브러리와의 동기화를 버전 0.21.0으로 업그레이드한 버전 0.2.0을 출시했습니다. 이 업데이트는 다양한 하드웨어 플랫폼 전반에 걸쳐 여러 백엔드 개선 사항과 새로운 기능을 도입합니다.