github llama.cpp · 방금 · inference

llama.cpp b10766이 DeepSeek 4 비전 지원을 추가합니다

번역 English → 한국어

llama.cpp 프로젝트는 DeepSeek 4 모델의 입력 비전을 올바르게 지원하기 위한 수정 사항을 포함한 빌드 b10766을 출시했습니다.

DeepSeek 4에 대한 입력 비전을 올바르게 지원합니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리 제공.

이 업데이트를 통해 사용자는 지원되는 플랫폼에서 최신 llama.cpp 빌드에서 비전 기능이 있는 DeepSeek 4를 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 프로젝트에서 DeepSeek-V4-Flash-Vision-Exp 모델에 대한 지원을 도입한 빌드 b10762를 출시했습니다. 이 업데이트에는 명령줄 인터페이스를 통한 최소 및 최대 토큰 수 처리도 포함되어 있습니다.

llama.cpp 프로젝트가 빌드 b10758을 출시하며 Hexagon DSP에 대한 MUL_MAT 및 MUL_MAT_ID 융합 기능을 도입했습니다. 이 업데이트에는 Qualcomm 하드웨어의 안정성과 성능을 개선하기 위한 여러 수정 사항도 포함되어 있습니다.

llama.cpp 프로젝트에서 빌드 b10759를 출시했으며, 여기에는 디스패치 시 KleidiAI 버퍼 타입 초기화를 피하는 수정 사항이 포함되어 있습니다.

llama.cpp 프로젝트는 빌드 b10756을 출시했으며, 이는 하드웨어에서 지원되는 경우에만 VK_KHR_shader_bfloat16 확장을 요청하도록 Vulkan 백엔드 동작을 수정합니다.

llama.cpp 프로젝트는 Vulkan 백엔드를 위한 특정 최적화를 포함한 빌드 b10757을 출시했습니다. 이 업데이트는 NUM_COLS가 4보다 클 때 IQ3_S 행렬-벡터 곱셈에 대해 4보다 큰 더 큰 배치 크기를 효율적으로 처리합니다.