github llama.cpp · 1시간 전 · inference

llama.cpp가 MXFP4 재패킹 및 채팅 템플릿과 함께 Kimi-K3 모델 지원을 추가함

번역 English → 한국어

llama.cpp 프로젝트는 Kimi-K3 텍스트 모델에 대한 지원을 추가했으며, 이전의 Kimi-Linear-48B에는 없었던 하이브리드 KDA(선형) + MLA(전체) 어텐션 아키텍처와 다섯 가지 특정 아키텍처 기능을 구현했습니다.

구현에는 교차 레이어 잔여 어텐션, 잠재적 MoE, SwiGLU를 대체하는 상황 활성화, MLA 출력 게이트 및 전체 순위 KDA 게이트가 포함됩니다.
라우팅된 전문가들은 ggml의 MXFP4와 비트 호환성 있는 "mxfp4-pack-quantized" 형식을 사용하여 압축 텐서로 제공되며, 이를 통해 양자화 해제 없이 무손실 재패킹이 가능합니다.
새로운 채팅 템플릿은 추론, 콘텐츠 및 도구 호출을 위한 Kimi-K3의 XTML-ish 태그 형식을 처리하며, 특정 메시지 구분자와 토큰 수준 스팬 분할을 포함합니다.
변환기는 타입 오류를 수정하고 LLAMA_MAX_EXPERTS를 512에서 1024로 증가시키며, 모델 저장기는 이제 라운드트립 충실도를 보존하기 위해 kda_gate_lower_bound 매개변수를 올바르게 출력합니다.

이 업데이트는 사용자가 Moonshot의 참조 구현 및 실제 생성 데이터에 대한 검증된 엔드투엔드 정확성과 함께 Kimi-K3를 로컬에서 실행할 수 있도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Moonshot AI Inference efficiency Local inference

관련 기사

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10447이 yield_to_queue 스레드 모델을 재설계

llama.cpp 프로젝트는 `yield_to_queue` 스레드 모델의 재설계를 포함한 빌드 b10447을 출시했습니다. 이 변경 사항에는 워커에서 `common_speculative_process`를 실행하고 워커-메인 스레드 디자인을 교체하는 작업이 포함됩니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10444이 MTP 어시스턴트 모델 지원을 추가하고 eagle3를 제거

llama.cpp 프로젝트는 `--models-dir` 플래그를 통해 멀티 토큰 예측(MTP) 어시스턴트 모델을 로드하는 지원을 도입한 버전 b10444을 출시했습니다. 이 업데이트에는 프리셋에서 MTP 모델에 대한 엄격한 접두사 확인이 포함되고 eagle3 드래프트 유형에 대한 지원이 제거되었습니다.

github llama.cpp · 8시간 전

llama.cpp b10442가 Intel Xe용 Vulkan SHMEM_STRIDE_PAD를 추가하고 OOB 읽기를 수정함

llama.cpp 프로젝트는 버전 b10442를 출시하며, 행렬 곱셈 루틴의 메모리 안전성 문제를 해결하는 동시에 Intel Xe 하드웨어에 대한 특정 Vulkan 최적화를 도입했습니다.

github llama.cpp · 1일 전 · 조회수 3회

llama.cpp b10434이 템플릿에 reasoning_effort 전달

llama.cpp 프로젝트는 `reasoning_effort` 매개변수를 Jinja 템플릿으로 전달하는 지원을 추가한 빌드 b10434를 출시했습니다. 이 변경으로 OpenAI Chat Completions의 `reasoning_effort` 값이 저장되고 생성 동안 사용 가능해집니다.

github llama.cpp · 2일 전

llama.cpp b10418이 SYCL 호스트 고정 메모리 지원을 추가합니다

llama.cpp 프로젝트는 SYCL의 호스트-ToDevice 메모리 액세스를 개선하기 위해 호스트 고정 메모리에 대한 지원을 도입한 버전 b10418을 출시했습니다. 이 업데이트는 백엔드 구현 내의 스레드 안전성 문제를 해결합니다.