github llama.cpp · 9시간 전 · inference

llama.cpp b10759, 디스패치 시 KleidiAI 버퍼 타입 초기화 방지

번역 English → 한국어

llama.cpp 프로젝트에서 빌드 b10759를 출시했으며, 여기에는 디스패치 시 KleidiAI 버퍼 타입 초기화를 피하는 수정 사항이 포함되어 있습니다.

이번 릴리즈에서는 macOS (Apple Silicon 및 Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO), Android, openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 프로젝트는 DeepSeek 4 모델의 입력 비전을 올바르게 지원하기 위한 수정 사항을 포함한 빌드 b10766을 출시했습니다.

llama.cpp 프로젝트에서 DeepSeek-V4-Flash-Vision-Exp 모델에 대한 지원을 도입한 빌드 b10762를 출시했습니다. 이 업데이트에는 명령줄 인터페이스를 통한 최소 및 최대 토큰 수 처리도 포함되어 있습니다.

llama.cpp 프로젝트가 빌드 b10758을 출시하며 Hexagon DSP에 대한 MUL_MAT 및 MUL_MAT_ID 융합 기능을 도입했습니다. 이 업데이트에는 Qualcomm 하드웨어의 안정성과 성능을 개선하기 위한 여러 수정 사항도 포함되어 있습니다.

llama.cpp 프로젝트는 빌드 b10756을 출시했으며, 이는 하드웨어에서 지원되는 경우에만 VK_KHR_shader_bfloat16 확장을 요청하도록 Vulkan 백엔드 동작을 수정합니다.

llama.cpp 프로젝트는 Vulkan 백엔드를 위한 특정 최적화를 포함한 빌드 b10757을 출시했습니다. 이 업데이트는 NUM_COLS가 4보다 클 때 IQ3_S 행렬-벡터 곱셈에 대해 4보다 큰 더 큰 배치 크기를 효율적으로 처리합니다.