github llama.cpp · 1일 전 · inference

llama.cpp b10354, Android에서 CPU 아피니티 마스크 수정

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10354를 출시했으며, 여기에는 Android 기기에서 무시되던 CPU 아피니티 마스크에 대한 수정이 포함되어 있습니다.

이번 릴리스에서는 macOS (Apple Silicon 및 Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO) 및 Android (arm64)용 바이너리가 제공됩니다.

이 빌드에서는 macOS Apple Silicon에 대한 KleidiAI 지원이 비활성화된 상태로 유지됩니다.

openEuler 빌드는 대부분 비활성화되었으며, 특정 x86 및 aarch64 구성만 사용할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10344이 Nemotron 모델에 MTP 지원을 추가합니다

llama.cpp 프로젝트는 Nemotron 및 Nemotron Nano 모델에 대해 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10344을 출시했습니다.

github llama.cpp · 2일 전

llama.cpp가 토큰별 LoRA 선택을 위한 그래프 내 라우터와 함께 Granite-Switch 아키텍처를 추가합니다

llama.cpp 프로젝트는 제어 토큰을 통해 토큰별로 선택되는 N개의 내장 LoRA 어댑터를 특징으로 하는 밀집 모델 변형인 Granite-Switch 아키텍처에 대한 지원을 도입했습니다. 이 구현은 어댑터 인덱스를 해결하기 위해 이전의 개념 증명용 전역 고정 인덱스를 그래프 내 인과적 "라우터" 주의 메커니즘으로 대체합니다.

github llama.cpp · 2일 전

ggml-webgpu 리팩토링이 포함된 llama.cpp b10336 릴리스

llama.cpp 프로젝트는 여러 wgsl 파일의 리팩토링과 ggml-webgpu 구성 요소 내 flash_attn wgsl 의 단순화를 포함하는 버전 b10336 을 출시했습니다.

media Hugging Face Forums · 3일 전 · 조회수 8회

vLLM Launcher가 로컬 LLM 추론을 위한 Windows 데스크톱 작업대 제공

WSL2를 통해 로컬 대규모 언어 모델 추론을 관리하도록 설계된 vLLM Launcher라는 새로운 프로젝트가 Windows 데스크톱 애플리케이션으로 출시되었습니다. 이 도구를 사용하면 단일 그래픽 인터페이스에서 vLLM, SGLang 및 llama.cpp를 포함한 여러 엔진 백엔드를 제어할 수 있습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp b10330, CUDA에서 rms_norm, mul, rope 융합

llama.cpp 프로젝트는 rms_norm, 곱셈, RoPE 연산을 단일 커널로 융합하는 CUDA 최적화를 도입한 버전 b10330을 출시했습니다. 이 변경에는 융합된 연산에 대한 메모리 범위 확인과 브로드캐스트 가중치를 위한 새로운 테스트 케이스가 포함됩니다.