github llama.cpp · 1시간 전 · inference

llama.cpp OpenVINO 백엔드가 Qwen3.5 지원 및 메모리 최적화를 추가함

번역 English → 한국어

llama.cpp 프로젝트는 OpenVINO 백엔드에 상당한 업데이트를 병합했으며, 주로 Qwen3.5 모델 계열에 대한 지원을 활성화하고 여러 메모리 최적화 기법을 도입했습니다.

GPT-OSS MoE, MXFP4, FILL, SIGMOID, SQR, SQRT 및 다차원 set rows 연산을 활성화했습니다.
Gemma3n, Phi-3-mini (NEOX RoPE), MPT, Kimi-linear, Minimax-m3 아키텍처의 정확도 문제를 수정했습니다.
GGML_OPENVINO_RELEASE_WEIGHTS를 구현하여 컴파일 후 호스트 가중치 RSS를 해제하고, Arc iGPU에서 Llama-3.2-1B-Q4_K_M에 대해 정상 상태 메모리 사용량을 약 1555 MB에서 약 710 MB로 줄였습니다.
스트리밍 가중치 재양자화를 추가하여 1B 모델의 컴파일 시간 피크 RSS를 1.06 GB, 8B 모델의 경우 2.0 GB 줄였습니다.
반복적인 로드 시 그래프 변환 및 컴파일을 건너뛰기 위해 프론트엔드 모델 캐시(GGML_OPENVINO_MODEL_CACHE_DIR)를 도입했습니다.

이러한 변경 사항은 Qwen3.5와 같은 최신 아키텍처와의 호환성을 개선하고 GPU 추론을 위한 과도한 컴파일 시간 및 정상 상태 메모리 사용량을 크게 줄입니다.

중요도 1/3 신뢰도 1/3 llama.cpp NVIDIA Inference efficiency Local inference

관련 기사

github llama.cpp · 방금 실시간

llama.cpp b10418이 SYCL 호스트 고정 메모리 지원을 추가합니다

llama.cpp 프로젝트는 SYCL의 호스트-ToDevice 메모리 액세스를 개선하기 위해 호스트 고정 메모리에 대한 지원을 도입한 버전 b10418을 출시했습니다. 이 업데이트는 백엔드 구현 내의 스레드 안전성 문제를 해결합니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10414가 TQ2_0 지원을 추가하고 mul_mv 커널을 최적화함

llama.cpp 프로젝트는 Metal 백엔드에 GGML_TYPE_TQ2_0 삼원 양자화 유형에 대한 지원을 도입하는 빌드 b10414를 출시했습니다. 이 업데이트에는 연속 텐서(cont) mul_mv 커널의 최적화도 포함되어 있습니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp b10354, Android에서 CPU 아피니티 마스크 수정

llama.cpp 프로젝트가 버전 b10354를 출시했으며, 여기에는 Android 기기에서 무시되던 CPU 아피니티 마스크에 대한 수정이 포함되어 있습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp b10344이 Nemotron 모델에 MTP 지원을 추가합니다

llama.cpp 프로젝트는 Nemotron 및 Nemotron Nano 모델에 대해 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10344을 출시했습니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp가 토큰별 LoRA 선택을 위한 그래프 내 라우터와 함께 Granite-Switch 아키텍처를 추가합니다

llama.cpp 프로젝트는 제어 토큰을 통해 토큰별로 선택되는 N개의 내장 LoRA 어댑터를 특징으로 하는 밀집 모델 변형인 Granite-Switch 아키텍처에 대한 지원을 도입했습니다. 이 구현은 어댑터 인덱스를 해결하기 위해 이전의 개념 증명용 전역 고정 인덱스를 그래프 내 인과적 "라우터" 주의 메커니즘으로 대체합니다.