github llama.cpp · 11시간 전 · inference

llama.cpp b10757이 더 큰 배치 크기에 대한 Vulkan IQ3_S mat-vec 성능을 개선

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드를 위한 특정 최적화를 포함한 빌드 b10757을 출시했습니다. 이 업데이트는 NUM_COLS가 4보다 클 때 IQ3_S 행렬-벡터 곱셈에 대해 4보다 큰 더 큰 배치 크기를 효율적으로 처리합니다.

지정된 Vulkan IQ3_S mat-vec 구성에서 n=8일 때 5배 성능 개선을 달성합니다.
all_types mat-vec 스윕에 k=16*256에서 양자화 유형당 두 가지 경우를 추가합니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리를 제공합니다.

이 릴리스는 특정 양자화 유형에 대해 업데이트된 Vulkan 최적화와 함께 다양한 하드웨어 플랫폼에서 llama.cpp를 실행할 수 있도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 프로젝트는 DeepSeek 4 모델의 입력 비전을 올바르게 지원하기 위한 수정 사항을 포함한 빌드 b10766을 출시했습니다.

llama.cpp 프로젝트에서 DeepSeek-V4-Flash-Vision-Exp 모델에 대한 지원을 도입한 빌드 b10762를 출시했습니다. 이 업데이트에는 명령줄 인터페이스를 통한 최소 및 최대 토큰 수 처리도 포함되어 있습니다.

llama.cpp 프로젝트가 빌드 b10758을 출시하며 Hexagon DSP에 대한 MUL_MAT 및 MUL_MAT_ID 융합 기능을 도입했습니다. 이 업데이트에는 Qualcomm 하드웨어의 안정성과 성능을 개선하기 위한 여러 수정 사항도 포함되어 있습니다.

llama.cpp 프로젝트에서 빌드 b10759를 출시했으며, 여기에는 디스패치 시 KleidiAI 버퍼 타입 초기화를 피하는 수정 사항이 포함되어 있습니다.

llama.cpp 프로젝트는 빌드 b10756을 출시했으며, 이는 하드웨어에서 지원되는 경우에만 VK_KHR_shader_bfloat16 확장을 요청하도록 Vulkan 백엔드 동작을 수정합니다.