github llama.cpp · 2시간 전 · inference

llama.cpp b10816이 M3 fa-vec 튜닝과 새 바이너리 추가

번역 English → 한국어

llama.cpp 프로젝트가 Apple Silicon 장치용 Metal 백엔드 업데이트를 포함한 버전 b10816을 출시했습니다. 이번 릴리스는 M3 칩 아키텍처에 대한 나머지 fast-vector 튜닝 추가에 중점을 둡니다.

fa_vec_tuned_table에 M3 항목 추가.
ggml-metal-tuning에 q4_0, q4_1, q5_0 및 q5_1 양자화 포함.
macOS (Apple Silicon 및 Intel), iOS, Linux, Windows, Android 및 openEuler용 바이너리 제공.
CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL, CUDA 12/13 및 OpenCL Adreno를 포함한 다양한 백엔드 지원.

이 업데이트는 M3 하드웨어에 대한 최적화된 성능을 보장하면서 여러 운영 체제와 GPU 아키텍처에서 사전 빌드된 바이너리의 가용성을 확장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 프로젝트는 레이어당 전문가 수가 다른 모델을 지원하기 위해 모델 로더에 변경 사항을 포함하는 빌드 b10796을 출시했습니다.

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

ggml-org 프로젝트가 llama.cpp 버전 b10774를 출시했으며, 여기에는 파인튜닝 모듈의 KV 캐시 누락 문제에 대한 수정이 포함되어 있습니다.

llama.cpp 프로젝트는 `preserve_reasoning` 채팅 템플릿 키워드 인수의 기본 동작을 변경하는 빌드 b10763을 출시했습니다. 서버는 이제 이 kwarg의 유효 상태를 로깅하고 지원되는 템플릿에서 기본적으로 활성화된 경우 경고를 발행합니다.

llama.cpp 프로젝트는 빌드 b10760을 출시했으며, 이는 추론 중 수치적 불안정성을 방지하기 위해 Qwen3-tts-0.6B 모델에 대한 특정 수정을 포함합니다.