github llama.cpp · 1시간 전 · inference

llama.cpp b10238이 Qwen3-Next에 대한 MTP 지원을 추가했습니다

번역 English → 한국어

llama.cpp 프로젝트는 Qwen3-Next 모델 계열에 대한 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10238을 출시했습니다. 이 업데이트에는 MTP 레이어를 처리하기 위한 특정 구현 변경 사항과 코드베이스 내 Python 타입 체크와 관련된 수정 사항이 포함되어 있습니다.

src/models/qwen3next.cpp에서 Qwen3-Next 모델에 대한 MTP 지원을 추가했습니다.
num_mtp 계산을 MTP 레이어에서 직접 수행하고 _QwenMtpMixin에서 opt_num_mtp_layers를 정의했습니다.
Python 타입 체크 문제를 해결하고 gguf-py/gguf/constants.py를 업데이트했습니다.
macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), openEuler용 바이너리를 제공했습니다.

이 릴리스를 통해 사용자는 광범위한 하드웨어 아키텍처와 운영 체제에서 MTP 기능을 갖춘 Qwen3-Next 모델을 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10237, DeepSeek V3.2용 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10237을 출시하여 DeepSeek V3.2 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

github llama.cpp · 14시간 전 · 조회수 7회

llama.cpp b10232, Metal에서 DeepSeek V4 하이퍼커넥션 구현

llama.cpp 프로젝트는 Metal 백엔드를 통해 DeepSeek V4 하이퍼커넥션 지원을 도입한 빌드 b10232를 출시했습니다. 이 업데이트에는 GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE 및 GGML_OP_DSV4_HC_POST 연산의 구현이 추가되었습니다.

github llama.cpp · 2일 전 · 조회수 9회

llama.cpp b10219 채팅 기록에 reasoning_content 유지

llama.cpp 프로젝트는 채팅 기록 내에서 추론 콘텐츠를 유지하는 CLI 수정 사항을 포함한 버전 b10219를 출시했습니다. 이전에는 `llama-cli`가 스트림에서 추론을 수집하여 표시했지만 메시지에는 어시스턴트 콘텐츠만 저장되어 있어 `--reasoning-preserve` 플래그가 이후 턴에서 이전 생각을 다시 주입하지 못했습니다.

github llama.cpp · 3일 전 · 조회수 8회

llama.cpp b10213이 회전된 kv 캐시 양자화 지원을 추가합니다

llama.cpp 프로젝트가 버전 b10213을 출시하여 회전된 키-값 캐시 양자화에 대한 지원을 도입했습니다. 이 업데이트는 광범위한 플랫폼과 하드웨어 가속기에서 사용할 수 있습니다.

github llama.cpp · 3일 전 · 조회수 3회

llama.cpp b10212는 사용 시에만 MTP 텐서 로드

llama.cpp 프로젝트는 Multi-Token Prediction (MTP) 텐서를 실제로 사용할 때만 로드하는 변경 사항을 포함한 버전 b10212를 출시했습니다. 이 업데이트는 기능을 지원하지만 필요하지 않은 나머지 모델의 로드 중에 MTP 텐서가 건너뛰어지도록 보장합니다.