github llama.cpp · 방금 · inference

llama.cpp b10662가 통합 KV 캐시를 위해 ctx-per-slot 추가

번역 English → 한국어

llama.cpp 프로젝트는 빌드 b10662를 출시하며 통합 KV 캐시에 대해 슬롯별 컨텍스트를 지정할 수 있는 새로운 `--kv-unified-per-slot` 인수를 도입했습니다. 이 변경은 이전의 컨텍스트 비율 메커니즘을 컨텍스트 풀 슬롯으로 대체하고 기본 구현을 리팩터링합니다.

통합 KV 캐시 할당을 더 세분화하여 관리하기 위해 `ctx-per-slot` 인수를 추가합니다.
메모리 관리 로직을 개선하기 위해 ctx 비율을 ctx 풀 슬롯으로 교체합니다.
더 이상 사용되지 않는 `ctx-pool-slots` 매개변수를 제거하고 `ctx-per-slot`을 정수 형식으로 변환합니다.
Xuan Son Nguyen에 의한 일반적인 포맷팅 정리 및 코드 리팩토링이 포함되어 있습니다.

이 업데이트는 사용자가 통합 KV 캐시 시스템에서 여러 슬롯에 걸쳐 컨텍스트 창 분포를 더 세밀하게 제어할 수 있도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp가 Qwen3.8-Flash-Next (qwen4exp) 아키텍처 지원을 추가합니다

llama.cpp 프로젝트는 하이퍼 연결, 게이트드 델타 넷, 전문가 혼합(MoE), PLE n-gram 해시 임베딩을 포함한 특정 구성 요소를 구현하여 Qwen3.8-Flash-Next (qwen4exp) 모델 아키텍처에 대한 지원을 추가했습니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10658이 DFlash2 지원을 추가하고 mrope 버그를 수정

llama.cpp 프로젝트는 로컬 컨볼루션과 후보 선택자를 포함하는 DFlash2 사양에 대한 지원을 도입하는 빌드 b10658을 출시했습니다. 이 업데이트는 코드베이스 내의 특정 mrope 버그도 해결합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp, Windows ROCm 릴리스에 HIP 런타임 DLL 번들

llama.cpp 프로젝트는 필요한 HIP 런타임 DLL을 바이너리 바로 옆에 직접 번들하도록 Windows ROCm 릴리스를 업데이트했습니다. 이 변경은 System32의 드라이버 복사본과 잠재적으로 충돌할 수 있는 대신 올바른 HIP 런타임이 로드되도록 하여 이슈 #26929를 해결합니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10656, RAM에 큰 텐서 로딩 방지를 위해 작업 메모리 제한

llama.cpp 프로젝트는 작업 메모리 크기를 제한하는 변경 사항을 포함하는 빌드 b10656을 출시했습니다. 이 수정은 시스템 RAM에 큰 텐서가 로드되는 것을 방지하기 위해 설계되었습니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10657이 GEMO MOE에 대한 OpenCL 바이너리 커널을 추가합니다

llama.cpp 프로젝트는 혼합 전문가 모델을 위한 새로운 OpenCL 바이너리 커널을 도입하는 버전 b10657을 출시했습니다. 구체적으로, 이 업데이트는 호환되는 하드웨어에서 효율적인 계산을 지원하기 위해 `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` 및 `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin`을 추가합니다.