github llama.cpp · 1시간 전 · inference

llama.cpp b10610, CUDA 및 Metal에서 가상 장치 명명 축약

번역 English → 한국어

llama.cpp 프로젝트는 CUDA 및 Metal 플랫폼 모두에 대해 ggml 백엔드 내 가상 장치 명명을 단축하는 변경 사항을 포함하는 버전 b10610을 출시했습니다.

업데이트는 CUDA 및 Metal 백엔드에서 가상 장치를 명명하는 방식을 수정하여 서술성을 줄입니다.
KleidiAI 지원이 포함된 macOS Apple Silicon 빌드는 이번 릴리스에서도 비활성화된 상태로 유지됩니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 7.14), Android 및 openEuler에 대한 바이너리가 제공됩니다.

이 릴리스는 다양한 하드웨어 가속기 및 운영 체제용 업데이트된 바이너리를 제공하면서 내부 장치 식별 문자열을 정교하게 다듬었습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10605, GEMM 디스패치를 위해 mamba2 투영을 평탄화

llama.cpp 프로젝트는 Mamba2 아키텍처를 위한 핵심 최적화를 포함한 빌드 b10605를 출시했습니다. 이 업데이트는 Mamba2 모델의 입력 및 출력 투영을 평탄화하여 일반 행렬-벡터(GEMV) 연산 대신 일반 행렬 곱셈(GEMM) 연산을 디스패치합니다.

github llama.cpp · 20시간 전 · 조회수 12회

llama.cpp b10603이 GLM-4.5-Air에 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10603을 출시하여 GLM-4.5-Air 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

github llama.cpp · 2일 전 · 조회수 6회

ggml이 요소별 memcpy를 행 수준 memcpy로 교체하여 concat 연산을 최적화합니다

ggml 라이브러리는 요소별 메모리 복사 대신 행 수준 memcpy 작업을 사용하여 연결(concat) 연산을 최적화했습니다. 이 변경은 llama.cpp의 b10578 릴리스의 일부이며, 여기에는 다양한 플랫폼별 바이너리와 기본 계산 그래프의 업데이트가 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b10576이 SYCL를 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널 추가

llama.cpp 프로젝트는 SYCL 지원을 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널을 다시 추가한 빌드 b10576을 출시했습니다. 이 변경은 이전에 이러한 특정 커널 구현을 제거했던 이전 커밋을 효과적으로 되돌립니다.

github llama.cpp · 2일 전 · 조회수 6회

llama.cpp b10577이 임베딩과 함께 draft-mtp 수정

llama.cpp 프로젝트는 임베딩과 함께 사용할 때 draft-mtp에 대한 수정을 포함한 빌드 b10577을 출시했습니다. 이 업데이트는 문제 #26352 및 #27299를 해결합니다.