github llama.cpp · 2일 전 · inference

llama.cpp b11020, DeepSeek V3.2/V4 파서에 메시지 구분자 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b11020을 출시했으며, 여기에는 채팅 구문 분석 로직의 기능적 업데이트가 포함됩니다. 주요 변경 사항은 DeepSeek V3.2 및 V4 모델 파서를 위해 메시지 구분자를 특별히 추가하는 것입니다.

풀 #29008에서 DeepSeek V3.2/V4 파서에 메시지 구분자 추가.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android 및 openEuler용 바이너리 출시.

이 업데이트는 llama.cpp 프레임워크 내에서 DeepSeek 모델의 대화 구조를 올바르게 구문 분석하도록 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

github llama.cpp · 12시간 전 · 조회수 1회

llama.cpp b11035이 Vulkan용 IQ3_S MMQ 행렬 곱 커널 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 IQ3_S MMQ 행렬 곱 커널에 대한 지원을 도입한 버전 b11035를 출시했습니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b11026, Qwen35MoE 의 gate_up_exps 건너뜀

llama.cpp 프로젝트는 TENSOR_SKIP 플래그가 설정되어 있을 때 gate_up_exps 를 건너뛰도록 하는 변경 사항을 도입한 빌드 b11026 을 출시했습니다. 이 수정은 MTP 텐서가 융합되었지만 로드되지 않은 Qwen35MoE 모델에 특히 필요합니다.