github llama.cpp · 방금 · inference

llama.cpp b11338이 CPY 및 CONCAT에 공유 스트라이드 DMA 복사 추가

번역 English → 한국어

llama.cpp 프로젝트가 빌드 b11338을 출시하며, CPY 및 CONCAT 작업에 대한 공유 스트라이드 직접 메모리 접근(DMA) 복사 메커니즘을 도입했습니다. 이 업데이트는 Hexagon 아키텍처에서 DMA를 통해 모든 차원의 CONCAT을 가능하게 합니다.

CPY 및 CONCAT 작업에 대한 공유 스트라이드 DMA 복사를 구현했습니다.
DMA를 통한 모든 차원 CONCAT을 활성화했습니다.
64비트 DMA와 호환되지 않는 손상된 CONCAT_DMA_MIN_ROW 로직을 제거했습니다.
누락된 dma_queue_flush() 호출 및 지원되지 않는 조건에 대한 추가 가드를 추가했습니다.

이 릴리스는 CPU, GPU 및 NPU 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b11335, Volta 성능을 위해 sm70을 Turing MMVQ 테이블로 라우팅

llama.cpp 프로젝트는 Volta GPU용 CUDA 최적화를 포함한 버전 b11335를 출시했습니다. 이 업데이트는 sm_70 아키텍처를 일반 구성으로 폴스루하는 대신 기존 Turing MMVQ nwarps 테이블로 라우팅합니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b11333이 MUL_MAT 작업에 대한 WebGPU bfloat16 지원을 추가합니다

llama.cpp 프로젝트는 WebGPU 백엔드 내에서 MUL_MAT, MUL_MAT_ID 및 GET_ROWS 작업에 대한 bfloat16 지원을 도입한 빌드 b11333을 출시했습니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b11309, 안전한 scatter 모드로 Hexagon ALLREDUCE 최적화

llama.cpp 프로젝트는 Hexagon 백엔드를 위한 핵심 최적화를 포함하는 버전 b11309를 출시했습니다. 이 업데이트는 Qualcomm Snapdragon 장치에서 성능과 안정성을 개선하기 위해 ALLREDUCE 작업에 안전한 scatter 모드 지원을 추가합니다.

github llama.cpp · 2일 전 · 조회수 9회

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 2일 전 · 조회수 5회

llama.cpp b11266는 Intel에서 Vulkan용 F32 A 행렬을 2개씩 로드합니다

llama.cpp 프로젝트는 Vulkan 최적화를 포함하는 빌드 b11266를 출시했으며, 이는 2-정렬된 경우 F32 A 행렬을 한 번에 두 요소씩 로드합니다. 이 변경은 부동소수점을 하나씩 로드하는 것이 비효율적인 Intel 하드웨어의 성능 문제를 해결하고, 원래 패치에서 누락된 `a_offset` 정렬 검증도 수정합니다.