github llama.cpp · 1시간 전 · inference

SYCL RMS_NORM 융합을 포함한 llama.cpp b10202 릴리스

번역 English → 한국어

llama.cpp 프로젝트는 RMS_NORM 및 MUL 연산을 융합하는 SYCL 최적화를 도입한 버전 b10202를 출시했습니다.

이 업데이트에서는 macOS (Apple Silicon 및 Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows 및 Android용 사전 빌드된 바이너리를 제공합니다. CUDA 12/13, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16, HIP 및 OpenCL Adreno를 포함한 다양한 하드웨어 백엔드를 지원합니다.

릴리스에는 표준 llama.cpp UI도 포함되어 있으며, macOS Apple Silicon에 대한 KleidiAI 지원은 현재 비활성화되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10201이 긴 컨텍스트에서 양자화된 KV에 대한 flash attention을 개선

llama.cpp 프로젝트는 ggml-webgpu 백엔드에 대한 주요 개선을 포함하는 버전 b10201을 출시했습니다. 이 업데이트는 긴 컨텍스트 생성 동안 양자화된 키-값 캐시를 처리할 때 flash attention 성능을 향상시킵니다.

github llama.cpp · 17시간 전 · 조회수 1회

llama.cpp b10198, 양자화 concat에 대한 Vulkan 지원 추가

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 양자화 연결 연산에 대한 지원을 도입한 빌드 b10198을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10180이 SYCL 단항 연산에 연속 빠른 경로 및 32비트 인덱스 산술 추가

llama.cpp 프로젝트는 SYCL 백엔드에 대한 성능 최적화를 도입한 빌드 b10180을 출시했습니다. 업데이트는 연속 빠른 경로를 구현하고 요소별 인덱스 산술을 32비트 정수와 함께 fastdiv를 사용하도록 전환합니다.

github llama.cpp · 4일 전 · 조회수 3회

llama.cpp b10155에 MiMo-V2.5 오디오 지원 추가

llama.cpp 프로젝트는 MiMo-V2.5 오디오 입력 모델을 위한 지원을 도입한 빌드 b10155를 출시했습니다. 이 업데이트에는 MiMo 오디오용 GGUF 변환기가 포함되어 있으며, RVQ 기반 오디오 모델을 처리하는 데 필요한 C++ 백엔드 로직이 구현되었습니다.

github llama.cpp · 4일 전 · 조회수 3회

llama.cpp b10150이 ggml 오프로딩 로직을 조정하고 dsv4 그래프를 수정

llama.cpp 프로젝트는 가중치 백엔드로 연산을 오프로드하는 ggml 로직에 대한 조정을 포함한 빌드 b10150을 출시했습니다. 이 업데이트는 llama dsv4 그래프에 대한 수정도 다룹니다.