github llama.cpp · 1시간 전 · inference

llama.cpp b10259은 로드 중 텐서 재구성 허용

번역 English → 한국어

llama.cpp 프로젝트는 로드 과정에서 텐서의 재구성을 허용하는 기능을 도입한 빌드 b10259을 출시했습니다.

이 업데이트에는 macOS (Apple Silicon 및 Intel), Linux (Ubuntu용 CPU, Vulkan, ROCm, OpenVINO, SYCL 백엔드), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL), openEuler용 바이너리가 포함되어 있습니다.

릴리스는 또한 사용자를 위한 독립형 UI 패키지를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10254가 DeepSeek V4 Flash 0731 템플릿을 추가하고 V4 템플릿 업데이트

llama.cpp 프로젝트는 버전 b10254를 출시하며 DeepSeek V4 Flash 0731 모델용 새 채팅 템플릿을 도입하고 기존 DeepSeek V4 템플릿을 업데이트했습니다.

github llama.cpp · 10시간 전

llama.cpp b10251, GLM-4.7-Flash에 MTP 지원 추가

llama.cpp 프로젝트는 GLM-4.7-Flash 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입한 빌드 b10251을 출시했습니다.

github llama.cpp · 1일 전

llama.cpp b10238이 Qwen3-Next에 대한 MTP 지원을 추가했습니다

llama.cpp 프로젝트는 Qwen3-Next 모델 계열에 대한 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10238을 출시했습니다. 이 업데이트에는 MTP 레이어를 처리하기 위한 특정 구현 변경 사항과 코드베이스 내 Python 타입 체크와 관련된 수정 사항이 포함되어 있습니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b10237, DeepSeek V3.2용 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10237을 출시하여 DeepSeek V3.2 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

github llama.cpp · 2일 전 · 조회수 7회

llama.cpp b10232, Metal에서 DeepSeek V4 하이퍼커넥션 구현

llama.cpp 프로젝트는 Metal 백엔드를 통해 DeepSeek V4 하이퍼커넥션 지원을 도입한 빌드 b10232를 출시했습니다. 이 업데이트에는 GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE 및 GGML_OP_DSV4_HC_POST 연산의 구현이 추가되었습니다.