github llama.cpp · 8시간 전 · inference

llama.cpp b10653 모델 로딩을 위해 TENSOR_READ_LAZY 추가

번역 English → 한국어

llama.cpp 프로젝트는 모델 로더에 TENSOR_READ_LAZY 기능을 도입한 빌드 b10653을 출시했습니다. 이 변경에는 TENSOR_GET_ROW_LAZY 함수의 추가와 해당하는 --tensor-read-lazy 명령줄 플래그가 포함됩니다.

모델 로더에 TENSOR_READ_LAZY 및 TENSOR_GET_ROW_LAZY 추가.
지연 텐서 읽기를 활성화하기 위한 --tensor-read-lazy CLI 옵션 도입.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android 및 iOS용 바이너리 제공.

이 릴리스는 코어 라이브러리를 새로운 지연 로딩 기능으로 업데이트하며 지원되는 플랫폼 전반에 사전 빌드된 바이너리를 배포합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp가 Qwen3.8-Flash-Next (qwen4exp) 아키텍처 지원을 추가합니다

llama.cpp 프로젝트는 하이퍼 연결, 게이트드 델타 넷, 전문가 혼합(MoE), PLE n-gram 해시 임베딩을 포함한 특정 구성 요소를 구현하여 Qwen3.8-Flash-Next (qwen4exp) 모델 아키텍처에 대한 지원을 추가했습니다.

github llama.cpp · 6일 전 · 조회수 11회

llama.cpp b10568, DeepSeek 2에 ggml_rope_set_offset() 사용

llama.cpp 프로젝트는 `ggml_rope_set_offset()` 함수를 사용하도록 모델 처리를 업데이트한 빌드 b10568을 출시했습니다. 이 변경은 DeepSeek 2 지원을 위해 부분적으로 적용되었습니다.

github llama.cpp · 7일 전 · 조회수 17회

llama.cpp b10541이 멀티모달 프로젝트를 위해 --mmproj-device 인수를 추가합니다

llama.cpp 프로젝트는 빌드 b10541을 출시하여 멀티모달 투영 파일을 로드할 장치 백엔드를 사용자가 지정할 수 있도록 하는 `--mmproj-device` 명령줄 인수를 도입했습니다.

github llama.cpp · 7일 전 · 조회수 7회

llama.cpp b10532, Flash Attention을 위한 Metal KV 디쿼ン테이션 추가

llama.cpp 프로젝트가 버전 b10532를 출시하여, Metal 백엔드에서 양자화된 키-값(KV) 캐시를 Flash Attention 실행 전에 F16으로 디쿼ン테이션하는 전처리 패스를 도입했습니다.

github llama.cpp · 7일 전 · 조회수 13회

llama.cpp b10517이 Vulkan FA 디쿼ン타이즈 최적화 및 수정 추가

llama.cpp 프로젝트는 빌드 b10517을 출시하며 플래시 어텐션(FA) 디쿼안타이즈 경로에 대한 Vulkan 전용 개선을 도입했습니다. 주요 변경 사항에는 coopmat1에서 q8_0 KV를 한 번 디쿼안타이즈하고, coopmat2에서 FA 디쿼안타이즈 경로를 건너뛰며, Intel Xe1을 FA 디쿼안타이즈 경로에서 제외하는 것이 포함됩니다.