github llama.cpp · 1시간 전 · inference

llama.cpp b10269는 로드 시 dflash wo_a 리쉐이프 문제를 수정함

번역 English → 한국어

llama.cpp 프로젝트가 모델 로딩 중 dflash wo_a 리쉐이프 문제를 해결한 빌드 b10269를 출시했습니다.

이번 릴리스에는 macOS(Apple Silicon 및 Intel), iOS, Linux(Ubuntu x64, arm64, s390x의 CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL 백엔드 포함), Android(arm64), Windows(CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), 그리고 openEuler(x86 및 ACL Graph 지원 aarch64)용 바이너리가 포함되어 있습니다.

올바른 모델 로딩 동작을 보장하기 위해 모든 지원 플랫폼에서 업데이트를 다운로드할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

퓨즈드 Triton 커널을 탑재한 오픈소스 Decay-Gated O(N) 인과적 선형 어텐션

한 개발자가 이차적 MHA 병목 현상을 우회하기 위해 설계된 퓨즈드 Triton/CUDA 상태 누적 커널을 갖춘 Decay-Gated O(N) 인과적 선형 어텐션 아키텍처를 오픈소스로 공개했습니다.

github llama.cpp · 5시간 전

llama.cpp b10262, Vulkan 백엔드에 GATED_LINEAR_ATTN 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 GATED_LINEAR_ATTN 연산에 대한 지원을 도입한 빌드 b10262를 출시했습니다. 이 업데이트에는 Vulkan 연산에 대한 문서 업데이트도 포함되어 있으며 사용되지 않는 GLA spec constant가 제거되었습니다.

github llama.cpp · 7시간 전

llama.cpp b10259은 로드 중 텐서 재구성 허용

llama.cpp 프로젝트는 로드 과정에서 텐서의 재구성을 허용하는 기능을 도입한 빌드 b10259을 출시했습니다.

github llama.cpp · 13시간 전

llama.cpp b10256이 SYCL 비연속 연결 커널을 병렬화합니다

llama.cpp b10256 릴리스에는 SYCL 장치에 대한 비연속 연결 커널을 병렬화하기 위한 변경 사항이 포함되어 있습니다. 업데이트는 단일 레인 워크 그룹에서 `SYCL_CONCAT_BLOCK_SIZE`를 사용하는 워크 그룹으로 실행 기하학을 수정합니다.

github llama.cpp · 13시간 전

llama.cpp b10254가 DeepSeek V4 Flash 0731 템플릿을 추가하고 V4 템플릿 업데이트

llama.cpp 프로젝트는 버전 b10254를 출시하며 DeepSeek V4 Flash 0731 모델용 새 채팅 템플릿을 도입하고 기존 DeepSeek V4 템플릿을 업데이트했습니다.