github llama.cpp · 1시간 전 · inference

llama.cpp b10298이 mtmd 모듈에 청크 저장/로드 기능 추가

번역 English → 한국어

llama.cpp 프로젝트는 mtmd 모듈을 위한 새로운 청크 저장 및 로드 기능을 도입한 빌드 b10298을 출시했습니다. 이 업데이트에는 코드 정리와 추가 테스트도 포함되어 있습니다.

mtmd 모듈에 청크 저장/로드 기능 추가.
작은 코드 수정 사항과 테스트 추가 포함.
내부 상수를 _MAX에서 _COUNT로 이름 변경.

릴리스는 CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 및 HIP을 포함한 다양한 하드웨어 백엔드에서 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10282가 /metrics 엔드포인트에 spec-decode 카운터 추가

llama.cpp 프로젝트는 추론 디코딩을 위한 새로운 모니터링 기능을 도입한 버전 b10282를 출시했습니다. 서버는 이제 /metrics 엔드포인트에 spec-decode 카운터를 포함하여 사용자가 이 기능과 관련된 성능 메트릭을 추적할 수 있습니다.

github llama.cpp · 2일 전

llama.cpp b10259은 로드 중 텐서 재구성 허용

llama.cpp 프로젝트는 로드 과정에서 텐서의 재구성을 허용하는 기능을 도입한 빌드 b10259을 출시했습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp b10254가 DeepSeek V4 Flash 0731 템플릿을 추가하고 V4 템플릿 업데이트

llama.cpp 프로젝트는 버전 b10254를 출시하며 DeepSeek V4 Flash 0731 모델용 새 채팅 템플릿을 도입하고 기존 DeepSeek V4 템플릿을 업데이트했습니다.

github llama.cpp · 3일 전

llama.cpp b10251, GLM-4.7-Flash에 MTP 지원 추가

llama.cpp 프로젝트는 GLM-4.7-Flash 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입한 빌드 b10251을 출시했습니다.

github llama.cpp · 4일 전

llama.cpp b10238이 Qwen3-Next에 대한 MTP 지원을 추가했습니다

llama.cpp 프로젝트는 Qwen3-Next 모델 계열에 대한 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10238을 출시했습니다. 이 업데이트에는 MTP 레이어를 처리하기 위한 특정 구현 변경 사항과 코드베이스 내 Python 타입 체크와 관련된 수정 사항이 포함되어 있습니다.