github llama.cpp · 방금 · inference

llama.cpp b10669이 oneDNN SDPA 경로에 대해 f16 KV 캐시를 인플레이스 바인딩

번역 English → 한국어

llama.cpp 프로젝트는 oneDNN SDPA 경로에 대한 성능 최적화를 포함하는 버전 b10669을 출시했으며, 이는 f16 KV 캐시를 인플레이스 바인딩하여 구현되었습니다.

이 변경은 프리필 청크 동안 메모리 트래픽을 줄입니다. 예를 들어, 라이브 KV 길이가 34816인 Qwen3.8 27B에서 단계적 복사를 피함으로써 ubatch당 트래픽을 4.56 GB에서 더 낮은 수준으로 낮춥니다.
바이너리는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler에서 사용할 수 있습니다.

이 업데이트는 광범위한 플랫폼 호환성을 유지하면서 지원되는 하드웨어에서 최적화된 추론 성능을 사용자에게 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10666 상태 저장/로드 테스트 및 온디바이스 시퀀스 복사 수정

llama.cpp b10666 릴리스는 모든 아키텍처에서 실행되도록 test-save-load-state 스위트(suite)를 확장하고 상태 관리 및 그래프 처리의 여러 치명적인 버그를 해결했습니다. 주요 변경 사항에는 minimax-01의 덩글링 참조 수정, 온디바이스 시퀀스에 대한 청크 복사 정렬, deepseek4에 대한 인덱서 헤드 카운트 교정이 포함됩니다.

github llama.cpp · 16시간 전 · 조회수 1회

llama.cpp b10662가 통합 KV 캐시를 위해 ctx-per-slot 추가

llama.cpp 프로젝트는 빌드 b10662를 출시하며 통합 KV 캐시에 대해 슬롯별 컨텍스트를 지정할 수 있는 새로운 `--kv-unified-per-slot` 인수를 도입했습니다. 이 변경은 이전의 컨텍스트 비율 메커니즘을 컨텍스트 풀 슬롯으로 대체하고 기본 구현을 리팩터링합니다.

github llama.cpp · 17시간 전 · 조회수 7회

llama.cpp가 Qwen3.8-Flash-Next (qwen4exp) 아키텍처 지원을 추가합니다

llama.cpp 프로젝트는 하이퍼 연결, 게이트드 델타 넷, 전문가 혼합(MoE), PLE n-gram 해시 임베딩을 포함한 특정 구성 요소를 구현하여 Qwen3.8-Flash-Next (qwen4exp) 모델 아키텍처에 대한 지원을 추가했습니다.

github llama.cpp · 17시간 전 · 조회수 16회

llama.cpp b10658이 DFlash2 지원을 추가하고 mrope 버그를 수정

llama.cpp 프로젝트는 로컬 컨볼루션과 후보 선택자를 포함하는 DFlash2 사양에 대한 지원을 도입하는 빌드 b10658을 출시했습니다. 이 업데이트는 코드베이스 내의 특정 mrope 버그도 해결합니다.

github llama.cpp · 18시간 전 · 조회수 1회

llama.cpp, Windows ROCm 릴리스에 HIP 런타임 DLL 번들

llama.cpp 프로젝트는 필요한 HIP 런타임 DLL을 바이너리 바로 옆에 직접 번들하도록 Windows ROCm 릴리스를 업데이트했습니다. 이 변경은 System32의 드라이버 복사본과 잠재적으로 충돌할 수 있는 대신 올바른 HIP 런타임이 로드되도록 하여 이슈 #26929를 해결합니다.