github llama.cpp · 2시간 전 · inference

llama.cpp b10568, DeepSeek 2에 ggml_rope_set_offset() 사용

번역 English → 한국어

llama.cpp 프로젝트는 `ggml_rope_set_offset()` 함수를 사용하도록 모델 처리를 업데이트한 빌드 b10568을 출시했습니다. 이 변경은 DeepSeek 2 지원을 위해 부분적으로 적용되었습니다.

릴리스에는 macOS (Apple Silicon 및 Intel), Linux (Ubuntu x64, arm64, s390x), Windows, Android, openEuler용 바이너리가 포함되어 있습니다.
지원되는 백엔드에는 CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL, CUDA 12/13, OpenCL Adreno가 포함됩니다.
이 빌드에서는 KleidiAI가 있는 macOS Apple Silicon과 ROCm 7.14가 있는 Ubuntu x64가 현재 비활성화되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp b10541이 멀티모달 프로젝트를 위해 --mmproj-device 인수를 추가합니다

llama.cpp 프로젝트는 빌드 b10541을 출시하여 멀티모달 투영 파일을 로드할 장치 백엔드를 사용자가 지정할 수 있도록 하는 `--mmproj-device` 명령줄 인수를 도입했습니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10532, Flash Attention을 위한 Metal KV 디쿼ン테이션 추가

llama.cpp 프로젝트가 버전 b10532를 출시하여, Metal 백엔드에서 양자화된 키-값(KV) 캐시를 Flash Attention 실행 전에 F16으로 디쿼ン테이션하는 전처리 패스를 도입했습니다.

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b10517이 Vulkan FA 디쿼ン타이즈 최적화 및 수정 추가

llama.cpp 프로젝트는 빌드 b10517을 출시하며 플래시 어텐션(FA) 디쿼안타이즈 경로에 대한 Vulkan 전용 개선을 도입했습니다. 주요 변경 사항에는 coopmat1에서 q8_0 KV를 한 번 디쿼안타이즈하고, coopmat2에서 FA 디쿼안타이즈 경로를 건너뛰며, Intel Xe1을 FA 디쿼안타이즈 경로에서 제외하는 것이 포함됩니다.

github llama.cpp · 21일 전 · 조회수 38회

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.

github llama.cpp · 30일 전 · 조회수 26회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.