github llama.cpp · 2시간 전 · inference

llama.cpp b10262, Vulkan 백엔드에 GATED_LINEAR_ATTN 추가

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드에서 GATED_LINEAR_ATTN 연산에 대한 지원을 도입한 빌드 b10262를 출시했습니다. 이 업데이트에는 Vulkan 연산에 대한 문서 업데이트도 포함되어 있으며 사용되지 않는 GLA spec constant가 제거되었습니다.

Vulkan용 GATED_LINEAR_ATTN 연산 구현 (#25601)
Vulkan 연산 문서 업데이트
사용되지 않는 GLA spec constant 제거

이 릴리스는 CPU, CUDA, ROCm, OpenVINO, SYCL 및 Vulkan 백엔드에 대해 macOS, Linux, Windows, Android 및 iOS용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

퓨즈드 Triton 커널을 탑재한 오픈소스 Decay-Gated O(N) 인과적 선형 어텐션

한 개발자가 이차적 MHA 병목 현상을 우회하기 위해 설계된 퓨즈드 Triton/CUDA 상태 누적 커널을 갖춘 Decay-Gated O(N) 인과적 선형 어텐션 아키텍처를 오픈소스로 공개했습니다.

github llama.cpp · 4시간 전

llama.cpp b10259은 로드 중 텐서 재구성 허용

llama.cpp 프로젝트는 로드 과정에서 텐서의 재구성을 허용하는 기능을 도입한 빌드 b10259을 출시했습니다.

github llama.cpp · 10시간 전

llama.cpp b10256이 SYCL 비연속 연결 커널을 병렬화합니다

llama.cpp b10256 릴리스에는 SYCL 장치에 대한 비연속 연결 커널을 병렬화하기 위한 변경 사항이 포함되어 있습니다. 업데이트는 단일 레인 워크 그룹에서 `SYCL_CONCAT_BLOCK_SIZE`를 사용하는 워크 그룹으로 실행 기하학을 수정합니다.

github llama.cpp · 10시간 전

llama.cpp b10254가 DeepSeek V4 Flash 0731 템플릿을 추가하고 V4 템플릿 업데이트

llama.cpp 프로젝트는 버전 b10254를 출시하며 DeepSeek V4 Flash 0731 모델용 새 채팅 템플릿을 도입하고 기존 DeepSeek V4 템플릿을 업데이트했습니다.

github llama.cpp · 11시간 전 · 조회수 1회

llama.cpp b10255이 oneDNN SDPA를 비FP16 KV 캐시에 확장

llama.cpp b10255 릴리스는 Q4_0–Q8_0 양자화된 포맷과 FP32를 포함하여 비FP16 키-값(KV) 캐시를 지원하도록 oneDNN SDPA 경로를 확장합니다. 이 업데이트는 K/V 텐서를 처리하기 전에 온디바이스에서 디쿼티징하거나 밀집 FP16으로 변환함으로써 융합된 systolic 커널이 네이티브 FP16 경로와 동일하게 실행되도록 합니다.