github llama.cpp · 1시간 전 · inference

llama.cpp b10251, GLM-4.7-Flash에 MTP 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 GLM-4.7-Flash 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입한 빌드 b10251을 출시했습니다.

이 릴리스에는 macOS(Apple Silicon 및 Intel), iOS, Linux(Ubuntu x64, arm64, s390x, CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL 백엔드 포함), Android(arm64), Windows(CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), openEuler(ACL Graph)용 바이너리가 포함되어 있습니다.

이 버전에서는 macOS Apple Silicon KleidiAI 빌드가 비활성화되었습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10238이 Qwen3-Next에 대한 MTP 지원을 추가했습니다

llama.cpp 프로젝트는 Qwen3-Next 모델 계열에 대한 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10238을 출시했습니다. 이 업데이트에는 MTP 레이어를 처리하기 위한 특정 구현 변경 사항과 코드베이스 내 Python 타입 체크와 관련된 수정 사항이 포함되어 있습니다.

github llama.cpp · 20시간 전 · 조회수 5회

llama.cpp b10237, DeepSeek V3.2용 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10237을 출시하여 DeepSeek V3.2 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

github llama.cpp · 1일 전 · 조회수 7회

llama.cpp b10232, Metal에서 DeepSeek V4 하이퍼커넥션 구현

llama.cpp 프로젝트는 Metal 백엔드를 통해 DeepSeek V4 하이퍼커넥션 지원을 도입한 빌드 b10232를 출시했습니다. 이 업데이트에는 GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE 및 GGML_OP_DSV4_HC_POST 연산의 구현이 추가되었습니다.

github llama.cpp · 2일 전 · 조회수 9회

llama.cpp b10219 채팅 기록에 reasoning_content 유지

llama.cpp 프로젝트는 채팅 기록 내에서 추론 콘텐츠를 유지하는 CLI 수정 사항을 포함한 버전 b10219를 출시했습니다. 이전에는 `llama-cli`가 스트림에서 추론을 수집하여 표시했지만 메시지에는 어시스턴트 콘텐츠만 저장되어 있어 `--reasoning-preserve` 플래그가 이후 턴에서 이전 생각을 다시 주입하지 못했습니다.

github llama.cpp · 3일 전 · 조회수 8회

llama.cpp b10213이 회전된 kv 캐시 양자화 지원을 추가합니다

llama.cpp 프로젝트가 버전 b10213을 출시하여 회전된 키-값 캐시 양자화에 대한 지원을 도입했습니다. 이 업데이트는 광범위한 플랫폼과 하드웨어 가속기에서 사용할 수 있습니다.