github llama.cpp · 1시간 전 · inference

llama.cpp b10418이 SYCL 호스트 고정 메모리 지원을 추가합니다

번역 English → 한국어

llama.cpp 프로젝트는 SYCL의 호스트-ToDevice 메모리 액세스를 개선하기 위해 호스트 고정 메모리에 대한 지원을 도입한 버전 b10418을 출시했습니다. 이 업데이트는 백엔드 구현 내의 스레드 안전성 문제를 해결합니다.

호스트 고정 메모리를 위한 ggml_backend_sycl_host_buffer_type_get_max_size 지원을 추가합니다.
SYCL 백엔드의 스레드 안전 문제를 수정합니다.
macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL FP32/FP16), Android, Windows(CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) 및 openEuler용 바이너리를 포함합니다.
모든 플랫폼을 위한 통합 UI 패키지를 제공합니다.

이 릴리스는 SYCL 호환 하드웨어에 대해 호스트와 장치 메모리 간 더 빠른 데이터 전송을 가능하게 하며, 개선된 스레드 안전성을 통해 안정성을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp OpenVINO 백엔드가 Qwen3.5 지원 및 메모리 최적화를 추가함

llama.cpp 프로젝트는 OpenVINO 백엔드에 상당한 업데이트를 병합했으며, 주로 Qwen3.5 모델 계열에 대한 지원을 활성화하고 여러 메모리 최적화 기법을 도입했습니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10414가 TQ2_0 지원을 추가하고 mul_mv 커널을 최적화함

llama.cpp 프로젝트는 Metal 백엔드에 GGML_TYPE_TQ2_0 삼원 양자화 유형에 대한 지원을 도입하는 빌드 b10414를 출시했습니다. 이 업데이트에는 연속 텐서(cont) mul_mv 커널의 최적화도 포함되어 있습니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp b10354, Android에서 CPU 아피니티 마스크 수정

llama.cpp 프로젝트가 버전 b10354를 출시했으며, 여기에는 Android 기기에서 무시되던 CPU 아피니티 마스크에 대한 수정이 포함되어 있습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp b10344이 Nemotron 모델에 MTP 지원을 추가합니다

llama.cpp 프로젝트는 Nemotron 및 Nemotron Nano 모델에 대해 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10344을 출시했습니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp가 토큰별 LoRA 선택을 위한 그래프 내 라우터와 함께 Granite-Switch 아키텍처를 추가합니다

llama.cpp 프로젝트는 제어 토큰을 통해 토큰별로 선택되는 N개의 내장 LoRA 어댑터를 특징으로 하는 밀집 모델 변형인 Granite-Switch 아키텍처에 대한 지원을 도입했습니다. 이 구현은 어댑터 인덱스를 해결하기 위해 이전의 개념 증명용 전역 고정 인덱스를 그래프 내 인과적 "라우터" 주의 메커니즘으로 대체합니다.