github llama.cpp · 1시간 전 · inference

llama.cpp b10447이 yield_to_queue 스레드 모델을 재설계

번역 English → 한국어

llama.cpp 프로젝트는 `yield_to_queue` 스레드 모델의 재설계를 포함한 빌드 b10447을 출시했습니다. 이 변경 사항에는 워커에서 `common_speculative_process`를 실행하고 워커-메인 스레드 디자인을 교체하는 작업이 포함됩니다.

이번 릴리스는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu용 CPU, Vulkan, OpenVINO, SYCL 및 비활성화된 ROCm), Android, Windows(CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL 및 ROCm 7.14), openEuler(일부 빌드 비활성화)용 바이너리를 제공합니다.

이 업데이트는 지원되는 모든 플랫폼에서 다운로드할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10444이 MTP 어시스턴트 모델 지원을 추가하고 eagle3를 제거

llama.cpp 프로젝트는 `--models-dir` 플래그를 통해 멀티 토큰 예측(MTP) 어시스턴트 모델을 로드하는 지원을 도입한 버전 b10444을 출시했습니다. 이 업데이트에는 프리셋에서 MTP 모델에 대한 엄격한 접두사 확인이 포함되고 eagle3 드래프트 유형에 대한 지원이 제거되었습니다.

github llama.cpp · 6시간 전

llama.cpp b10442가 Intel Xe용 Vulkan SHMEM_STRIDE_PAD를 추가하고 OOB 읽기를 수정함

llama.cpp 프로젝트는 버전 b10442를 출시하며, 행렬 곱셈 루틴의 메모리 안전성 문제를 해결하는 동시에 Intel Xe 하드웨어에 대한 특정 Vulkan 최적화를 도입했습니다.

github llama.cpp · 1일 전 · 조회수 3회

llama.cpp b10434이 템플릿에 reasoning_effort 전달

llama.cpp 프로젝트는 `reasoning_effort` 매개변수를 Jinja 템플릿으로 전달하는 지원을 추가한 빌드 b10434를 출시했습니다. 이 변경으로 OpenAI Chat Completions의 `reasoning_effort` 값이 저장되고 생성 동안 사용 가능해집니다.

github llama.cpp · 2일 전

llama.cpp b10418이 SYCL 호스트 고정 메모리 지원을 추가합니다

llama.cpp 프로젝트는 SYCL의 호스트-ToDevice 메모리 액세스를 개선하기 위해 호스트 고정 메모리에 대한 지원을 도입한 버전 b10418을 출시했습니다. 이 업데이트는 백엔드 구현 내의 스레드 안전성 문제를 해결합니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp OpenVINO 백엔드가 Qwen3.5 지원 및 메모리 최적화를 추가함

llama.cpp 프로젝트는 OpenVINO 백엔드에 상당한 업데이트를 병합했으며, 주로 Qwen3.5 모델 계열에 대한 지원을 활성화하고 여러 메모리 최적화 기법을 도입했습니다.