github llama.cpp · 방금 · inference

llama.cpp b10414가 TQ2_0 지원을 추가하고 mul_mv 커널을 최적화함

번역 English → 한국어

llama.cpp 프로젝트는 Metal 백엔드에 GGML_TYPE_TQ2_0 삼원 양자화 유형에 대한 지원을 도입하는 빌드 b10414를 출시했습니다. 이 업데이트에는 연속 텐서(cont) mul_mv 커널의 최적화도 포함되어 있습니다.

Metal 백엔드에 GGML_TYPE_TQ2_0(삼원, 요소당 2비트) 지원 추가.
정수 연산에서 부동 소수점 연산으로 전환하여 mul_mv 커널 최적화.
사전 계산된 합, 호이스팅된 계수 및 연속 y 로드를 통해 성능 개선.

이 릴리스는 CPU, CUDA, Vulkan, ROCm, SYCL을 포함한 다양한 하드웨어 백엔드에 대해 macOS, Linux, Windows, Android, openEuler용 업데이트된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10354, Android에서 CPU 아피니티 마스크 수정

llama.cpp 프로젝트가 버전 b10354를 출시했으며, 여기에는 Android 기기에서 무시되던 CPU 아피니티 마스크에 대한 수정이 포함되어 있습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp b10344이 Nemotron 모델에 MTP 지원을 추가합니다

llama.cpp 프로젝트는 Nemotron 및 Nemotron Nano 모델에 대해 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10344을 출시했습니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp가 토큰별 LoRA 선택을 위한 그래프 내 라우터와 함께 Granite-Switch 아키텍처를 추가합니다

llama.cpp 프로젝트는 제어 토큰을 통해 토큰별로 선택되는 N개의 내장 LoRA 어댑터를 특징으로 하는 밀집 모델 변형인 Granite-Switch 아키텍처에 대한 지원을 도입했습니다. 이 구현은 어댑터 인덱스를 해결하기 위해 이전의 개념 증명용 전역 고정 인덱스를 그래프 내 인과적 "라우터" 주의 메커니즘으로 대체합니다.

github llama.cpp · 3일 전

ggml-webgpu 리팩토링이 포함된 llama.cpp b10336 릴리스

llama.cpp 프로젝트는 여러 wgsl 파일의 리팩토링과 ggml-webgpu 구성 요소 내 flash_attn wgsl 의 단순화를 포함하는 버전 b10336 을 출시했습니다.

media Hugging Face Forums · 5일 전 · 조회수 9회

vLLM Launcher가 로컬 LLM 추론을 위한 Windows 데스크톱 작업대 제공

WSL2를 통해 로컬 대규모 언어 모델 추론을 관리하도록 설계된 vLLM Launcher라는 새로운 프로젝트가 Windows 데스크톱 애플리케이션으로 출시되었습니다. 이 도구를 사용하면 단일 그래픽 인터페이스에서 vLLM, SGLang 및 llama.cpp를 포함한 여러 엔진 백엔드를 제어할 수 있습니다.