github llama.cpp · 2시간 전 · inference

llama.cpp b10344이 Nemotron 모델에 MTP 지원을 추가합니다

번역 English → 한국어

llama.cpp 프로젝트는 Nemotron 및 Nemotron Nano 모델에 대해 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10344을 출시했습니다.

Nemotron Nano 모델에 대한 MTP 지원 추가.
Nemotron 모델용 mtp_flags 구성 도입.
macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) 및 openEuler용 바이너리 제공.

이 업데이트를 통해 사용자는 다양한 하드웨어 플랫폼과 운영 체제에서 Nemotron 모델의 MTP 기능을 활용할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp가 토큰별 LoRA 선택을 위한 그래프 내 라우터와 함께 Granite-Switch 아키텍처를 추가합니다

llama.cpp 프로젝트는 제어 토큰을 통해 토큰별로 선택되는 N개의 내장 LoRA 어댑터를 특징으로 하는 밀집 모델 변형인 Granite-Switch 아키텍처에 대한 지원을 도입했습니다. 이 구현은 어댑터 인덱스를 해결하기 위해 이전의 개념 증명용 전역 고정 인덱스를 그래프 내 인과적 "라우터" 주의 메커니즘으로 대체합니다.

github llama.cpp · 10시간 전

ggml-webgpu 리팩토링이 포함된 llama.cpp b10336 릴리스

llama.cpp 프로젝트는 여러 wgsl 파일의 리팩토링과 ggml-webgpu 구성 요소 내 flash_attn wgsl 의 단순화를 포함하는 버전 b10336 을 출시했습니다.

media Hugging Face Forums · 2일 전 · 조회수 8회

vLLM Launcher가 로컬 LLM 추론을 위한 Windows 데스크톱 작업대 제공

WSL2를 통해 로컬 대규모 언어 모델 추론을 관리하도록 설계된 vLLM Launcher라는 새로운 프로젝트가 Windows 데스크톱 애플리케이션으로 출시되었습니다. 이 도구를 사용하면 단일 그래픽 인터페이스에서 vLLM, SGLang 및 llama.cpp를 포함한 여러 엔진 백엔드를 제어할 수 있습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10330, CUDA에서 rms_norm, mul, rope 융합

llama.cpp 프로젝트는 rms_norm, 곱셈, RoPE 연산을 단일 커널로 융합하는 CUDA 최적화를 도입한 버전 b10330을 출시했습니다. 이 변경에는 융합된 연산에 대한 메모리 범위 확인과 브로드캐스트 가중치를 위한 새로운 테스트 케이스가 포함됩니다.

github llama.cpp · 2일 전 · 조회수 6회

llama.cpp b10328, Docker을 통한 서버 도구 격리 초기 지원 추가

llama.cpp 프로젝트는 Docker를 사용하여 서버 구성 요소 내에서 도구를 격리하는 초기 지원을 도입한 빌드 b10328을 출시했습니다. 이 업데이트에는 도구 I/O 샌드박스 분리와 관련 구성 플래그 이름 변경을 위한 문서 및 코드 적응이 포함되어 있습니다.