github llama.cpp · 1시간 전 · inference

llama.cpp b10232, Metal에서 DeepSeek V4 하이퍼커넥션 구현

번역 English → 한국어

llama.cpp 프로젝트는 Metal 백엔드를 통해 DeepSeek V4 하이퍼커넥션 지원을 도입한 빌드 b10232를 출시했습니다. 이 업데이트에는 GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE 및 GGML_OP_DSV4_HC_POST 연산의 구현이 추가되었습니다.

새로운 커널은 SIMDgroup 레지스터 및 셔플 최적화를 활용합니다.
프로덕션 Sinkhorn 반복 횟수와 임베딩 너비를 지원하기 위해 Metal 디스패치 파이프라인이 추가되었습니다.
CPU, CUDA, ROCm, Vulkan 및 OpenVINO을 포함한 다양한 하드웨어 백엔드에서 macOS (Apple Silicon 및 Intel), iOS, Linux, Windows, Android 및 openEuler용 사전 빌드된 바이너리를 사용할 수 있습니다.

이 릴리스는 Metal 프레임워크를 사용하여 Apple Silicon 장치에서 DeepSeek V4 모델의 효율적인 추론을 가능하게 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10219 채팅 기록에 reasoning_content 유지

llama.cpp 프로젝트는 채팅 기록 내에서 추론 콘텐츠를 유지하는 CLI 수정 사항을 포함한 버전 b10219를 출시했습니다. 이전에는 `llama-cli`가 스트림에서 추론을 수집하여 표시했지만 메시지에는 어시스턴트 콘텐츠만 저장되어 있어 `--reasoning-preserve` 플래그가 이후 턴에서 이전 생각을 다시 주입하지 못했습니다.

github llama.cpp · 2일 전 · 조회수 8회

llama.cpp b10213이 회전된 kv 캐시 양자화 지원을 추가합니다

llama.cpp 프로젝트가 버전 b10213을 출시하여 회전된 키-값 캐시 양자화에 대한 지원을 도입했습니다. 이 업데이트는 광범위한 플랫폼과 하드웨어 가속기에서 사용할 수 있습니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10212는 사용 시에만 MTP 텐서 로드

llama.cpp 프로젝트는 Multi-Token Prediction (MTP) 텐서를 실제로 사용할 때만 로드하는 변경 사항을 포함한 버전 b10212를 출시했습니다. 이 업데이트는 기능을 지원하지만 필요하지 않은 나머지 모델의 로드 중에 MTP 텐서가 건너뛰어지도록 보장합니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10210, 초안 토큰 재생 중 수락된 토큰 수정

llama.cpp 프로젝트가 버전 b10210을 출시했으며, 여기에는 초안 토큰 재생이 필요한 경우 수락된 토큰을 처리하기 위한 서버 로직의 수정 사항이 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 6회

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.