github llama.cpp · 1시간 전 · inference

llama.cpp b10505에 dedup-cache-models 프리셋 옵션 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10505를 출시했으며, 이는 서버 구성 요소에 대한 새로운 `dedup-cache-models` 프리셋 옵션을 도입합니다.

이 릴리스에는 macOS (Apple Silicon 및 Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리가 포함되어 있습니다.
이 빌드에서는 macOS Apple Silicon에 대한 KleidiAI 지원이 비활성화되었습니다.
Ubuntu x64 ROCm 7.14 지원도 비활성화되었습니다.
플랫폼별 바이너리와 함께 다운로드할 수 있는 새로운 UI 패키지가 제공됩니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

푸리에 크기 KV 캐시 양자화로 동일한 메모리에서 컨텍스트 길이를 두 배로

ntrillard는 K와 V 캐시 값의 푸리에 크기 스펙트럼을 4비트로 양자화하고 위상은 완전 정밀도로 유지할 때, Gemma-3-1B에서 fp16 기준 대비 96.9% 토큰 일치율을 달성하며 표준 min-max 양자화 대비 5-10배 개선된다고 보여줍니다.

github llama.cpp · 4일 전 · 조회수 26회

llama.cpp가 MXFP4 재패킹 및 채팅 템플릿과 함께 Kimi-K3 모델 지원을 추가함

llama.cpp 프로젝트는 Kimi-K3 텍스트 모델에 대한 지원을 추가했으며, 이전의 Kimi-Linear-48B에는 없었던 하이브리드 KDA(선형) + MLA(전체) 어텐션 아키텍처와 다섯 가지 특정 아키텍처 기능을 구현했습니다.

github llama.cpp · 4일 전 · 조회수 21회

llama.cpp b10447이 yield_to_queue 스레드 모델을 재설계

llama.cpp 프로젝트는 `yield_to_queue` 스레드 모델의 재설계를 포함한 빌드 b10447을 출시했습니다. 이 변경 사항에는 워커에서 `common_speculative_process`를 실행하고 워커-메인 스레드 디자인을 교체하는 작업이 포함됩니다.

github llama.cpp · 4일 전 · 조회수 21회

llama.cpp b10444이 MTP 어시스턴트 모델 지원을 추가하고 eagle3를 제거

llama.cpp 프로젝트는 `--models-dir` 플래그를 통해 멀티 토큰 예측(MTP) 어시스턴트 모델을 로드하는 지원을 도입한 버전 b10444을 출시했습니다. 이 업데이트에는 프리셋에서 MTP 모델에 대한 엄격한 접두사 확인이 포함되고 eagle3 드래프트 유형에 대한 지원이 제거되었습니다.

github llama.cpp · 5일 전 · 조회수 19회

llama.cpp b10442가 Intel Xe용 Vulkan SHMEM_STRIDE_PAD를 추가하고 OOB 읽기를 수정함

llama.cpp 프로젝트는 버전 b10442를 출시하며, 행렬 곱셈 루틴의 메모리 안전성 문제를 해결하는 동시에 Intel Xe 하드웨어에 대한 특정 Vulkan 최적화를 도입했습니다.