github llama.cpp · 1시간 전 · inference

llama.cpp b10763에서 preserve_reasoning 기본 활성화

번역 English → 한국어

llama.cpp 프로젝트는 `preserve_reasoning` 채팅 템플릿 키워드 인수의 기본 동작을 변경하는 빌드 b10763을 출시했습니다. 서버는 이제 이 kwarg의 유효 상태를 로깅하고 지원되는 템플릿에서 기본적으로 활성화된 경우 경고를 발행합니다.

이 옵션을 설정하기 위한 `--chat-template-kwargs` 메서드는 `--reasoning-preserve` 또는 `--no-reasoning-preserve`와 같은 명시적 플래그를 선호하여 더 이상 사용되지 않습니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) 및 openEuler에 대한 사전 빌드된 바이너리가 제공됩니다.
릴리스에는 모든 지원 플랫폼에 대한 UI 바이너리가 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10760이 Qwen3-tts-0.6b 추론 안정성 수정

llama.cpp 프로젝트는 빌드 b10760을 출시했으며, 이는 추론 중 수치적 불안정성을 방지하기 위해 Qwen3-tts-0.6B 모델에 대한 특정 수정을 포함합니다.

github llama.cpp · 23시간 전 · 조회수 1회

llama.cpp b10751, CUDA용 MoE 가중 전문가 축적을 통합

llama.cpp 프로젝트가 빌드 b10751을 출시했으며, 이는 CUDA에서 MoE(Mixture of Experts)의 가중 전문가 축적에 대한 통합 커널을 도입합니다. 이 최적화는 이전의 두 개의 물리적 커널을 실행하던 기본값을 단일 가중 축적 커널로 대체하여 중간 전역 메모리 트래픽을 줄입니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10750, KV 캐시 n-gram 조회를 최적화하여 처리량 4.9% 향상

llama.cpp 프로젝트는 시퀀스 위치 인덱싱과 n-gram 히스토리 조회를 개선하기 위해 키-밸류 셀 관리를 리팩토링한 빌드 b10750을 출시했습니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10742, A18 Pro용 fa-vec 튜닝 추가

llama.cpp 프로젝트는 MacBook Neo에 탑재된 Apple A18 Pro 칩을 위해 특별히 빠른 벡터 (fa-vec) 튜닝을 추가하는 새로운 기능을 포함하는 버전 b10742를 출시했습니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10739, M2 Max용 fa-vec 튜닝 추가

llama.cpp 프로젝트가 Apple의 M2 Max 하드웨어를 위한 특정 성능 최적화를 포함한 버전 b10739를 출시했습니다. 이 업데이트는 M2 Max의 30개 GPU 코어에 맞춰진 빠른 어텐션 벡터(fa-vec) 튜닝을 도입합니다.