github llama.cpp · 1시간 전 · inference

llama.cpp b10201이 긴 컨텍스트에서 양자화된 KV에 대한 flash attention을 개선

번역 English → 한국어

llama.cpp 프로젝트는 ggml-webgpu 백엔드에 대한 주요 개선을 포함하는 버전 b10201을 출시했습니다. 이 업데이트는 긴 컨텍스트 생성 동안 양자화된 키-값 캐시를 처리할 때 flash attention 성능을 향상시킵니다.

ggml-webgpu에서 양자화된 KV 캐시에 대한 flash attention 벡터 처리 개선.
값 유형 확인 관련 버그 수정 및 주석 업데이트.
rebase로 인한 빌드 오류 해결.
macOS (Apple Silicon, Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL) 및 openEuler용 바이너리 제공.

이 릴리스를 통해 사용자는 더 긴 시퀀스에 대해 최적화된 어텐션 메커니즘의 혜택을 받으면서 광범위한 하드웨어 플랫폼에서 llama.cpp를 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

SYCL RMS_NORM 융합을 포함한 llama.cpp b10202 릴리스

llama.cpp 프로젝트는 RMS_NORM 및 MUL 연산을 융합하는 SYCL 최적화를 도입한 버전 b10202를 출시했습니다.

github llama.cpp · 16시간 전 · 조회수 1회

llama.cpp b10198, 양자화 concat에 대한 Vulkan 지원 추가

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 양자화 연결 연산에 대한 지원을 도입한 빌드 b10198을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10180이 SYCL 단항 연산에 연속 빠른 경로 및 32비트 인덱스 산술 추가

llama.cpp 프로젝트는 SYCL 백엔드에 대한 성능 최적화를 도입한 빌드 b10180을 출시했습니다. 업데이트는 연속 빠른 경로를 구현하고 요소별 인덱스 산술을 32비트 정수와 함께 fastdiv를 사용하도록 전환합니다.

github llama.cpp · 4일 전 · 조회수 3회

llama.cpp b10155에 MiMo-V2.5 오디오 지원 추가

llama.cpp 프로젝트는 MiMo-V2.5 오디오 입력 모델을 위한 지원을 도입한 빌드 b10155를 출시했습니다. 이 업데이트에는 MiMo 오디오용 GGUF 변환기가 포함되어 있으며, RVQ 기반 오디오 모델을 처리하는 데 필요한 C++ 백엔드 로직이 구현되었습니다.

github llama.cpp · 4일 전 · 조회수 2회

llama.cpp b10150이 ggml 오프로딩 로직을 조정하고 dsv4 그래프를 수정

llama.cpp 프로젝트는 가중치 백엔드로 연산을 오프로드하는 ggml 로직에 대한 조정을 포함한 빌드 b10150을 출시했습니다. 이 업데이트는 llama dsv4 그래프에 대한 수정도 다룹니다.