github llama.cpp · 1시간 전 · inference

llama.cpp b10577이 임베딩과 함께 draft-mtp 수정

번역 English → 한국어

llama.cpp 프로젝트는 임베딩과 함께 사용할 때 draft-mtp에 대한 수정을 포함한 빌드 b10577을 출시했습니다. 이 업데이트는 문제 #26352 및 #27299를 해결합니다.

공통 모듈에서 임베딩과의 draft-mtp 호환성 수정.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm), Android 및 openEuler용 바이너리 제공.

이 릴리스는 지원되는 플랫폼에서 임베딩 입력에 대해 draft-mtp가 올바르게 작동함을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

ggml이 요소별 memcpy를 행 수준 memcpy로 교체하여 concat 연산을 최적화합니다

ggml 라이브러리는 요소별 메모리 복사 대신 행 수준 memcpy 작업을 사용하여 연결(concat) 연산을 최적화했습니다. 이 변경은 llama.cpp의 b10578 릴리스의 일부이며, 여기에는 다양한 플랫폼별 바이너리와 기본 계산 그래프의 업데이트가 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10576이 SYCL를 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널 추가

llama.cpp 프로젝트는 SYCL 지원을 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널을 다시 추가한 빌드 b10576을 출시했습니다. 이 변경은 이전에 이러한 특정 커널 구현을 제거했던 이전 커밋을 효과적으로 되돌립니다.

github llama.cpp · 10시간 전 · 조회수 2회

llama.cpp b10568, DeepSeek 2에 ggml_rope_set_offset() 사용

llama.cpp 프로젝트는 `ggml_rope_set_offset()` 함수를 사용하도록 모델 처리를 업데이트한 빌드 b10568을 출시했습니다. 이 변경은 DeepSeek 2 지원을 위해 부분적으로 적용되었습니다.

github llama.cpp · 15시간 전 · 조회수 6회

ggml 0.21.0 및 Kleidiai SME2 지원을 추가한 llama.cpp v0.2.0 출시

llama.cpp 프로젝트가 ggml 라이브러리와의 동기화를 버전 0.21.0으로 업그레이드한 버전 0.2.0을 출시했습니다. 이 업데이트는 다양한 하드웨어 플랫폼 전반에 걸쳐 여러 백엔드 개선 사항과 새로운 기능을 도입합니다.

github llama.cpp · 1일 전 · 조회수 4회

llama.cpp b10541이 멀티모달 프로젝트를 위해 --mmproj-device 인수를 추가합니다

llama.cpp 프로젝트는 빌드 b10541을 출시하여 멀티모달 투영 파일을 로드할 장치 백엔드를 사용자가 지정할 수 있도록 하는 `--mmproj-device` 명령줄 인수를 도입했습니다.