github llama.cpp · 1시간 전 · inference

llama.cpp b10254가 DeepSeek V4 Flash 0731 템플릿을 추가하고 V4 템플릿 업데이트

번역 English → 한국어

llama.cpp 프로젝트는 버전 b10254를 출시하며 DeepSeek V4 Flash 0731 모델용 새 채팅 템플릿을 도입하고 기존 DeepSeek V4 템플릿을 업데이트했습니다.

DeepSeek V4 템플릿을 공식 인코더와 정렬하되 파서 동작 변경은 제외합니다.
preserve_reasoning이 요청되지 않았거나 도구가 없는 한 DeepSeek V4의 사고 기록을 기본적으로 삭제합니다.
구조화된 출력 응답 형식 지시문을 추가하고 스키마를 템플릿 렌더링에 전달합니다.
업데이트된 높은 및 최대 추론 노력 매핑을 처리하기 위해 별도의 Flash 0731 템플릿을 도입합니다.
DSML 파서 도구 호출 구분자 소비 및 deepseek v4 0731 템플릿 선택에 대한 수정을 포함합니다.

이 업데이트는 최신 DeepSeek 모델 사양과의 호환성을 보장하고 구조화된 출력 처리를 개선합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10251, GLM-4.7-Flash에 MTP 지원 추가

llama.cpp 프로젝트는 GLM-4.7-Flash 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입한 빌드 b10251을 출시했습니다.

github llama.cpp · 22시간 전

llama.cpp b10238이 Qwen3-Next에 대한 MTP 지원을 추가했습니다

llama.cpp 프로젝트는 Qwen3-Next 모델 계열에 대한 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10238을 출시했습니다. 이 업데이트에는 MTP 레이어를 처리하기 위한 특정 구현 변경 사항과 코드베이스 내 Python 타입 체크와 관련된 수정 사항이 포함되어 있습니다.

github llama.cpp · 23시간 전 · 조회수 5회

llama.cpp b10237, DeepSeek V3.2용 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10237을 출시하여 DeepSeek V3.2 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

github llama.cpp · 2일 전 · 조회수 7회

llama.cpp b10232, Metal에서 DeepSeek V4 하이퍼커넥션 구현

llama.cpp 프로젝트는 Metal 백엔드를 통해 DeepSeek V4 하이퍼커넥션 지원을 도입한 빌드 b10232를 출시했습니다. 이 업데이트에는 GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE 및 GGML_OP_DSV4_HC_POST 연산의 구현이 추가되었습니다.

github llama.cpp · 3일 전 · 조회수 9회

llama.cpp b10219 채팅 기록에 reasoning_content 유지

llama.cpp 프로젝트는 채팅 기록 내에서 추론 콘텐츠를 유지하는 CLI 수정 사항을 포함한 버전 b10219를 출시했습니다. 이전에는 `llama-cli`가 스트림에서 추론을 수집하여 표시했지만 메시지에는 어시스턴트 콘텐츠만 저장되어 있어 `--reasoning-preserve` 플래그가 이후 턴에서 이전 생각을 다시 주입하지 못했습니다.