github llama.cpp · 1시간 전 · inference

llama.cpp b10985은 RPC 해시 캐시를 가중치로 제한

번역 English → 한국어

llama.cpp 프로젝트는 빌드 b10985을 출시하여 해시 기반 캐싱을 가중치 텐서로만 제한하도록 RPC 백엔드를 수정했습니다. 이 변경은 활성화 데이터가 불필요하게 해시되고 저장되어 디스크 사용량이 과도해지는 문제를 해결합니다.

`ggml_backend_rpc_buffer_set_tensor` 및 `ggml_backend_rpc_set_tensor_async` 함수는 이제 `GGML_BACKEND_BUFFER_USAGE_WEIGHTS`로 표시된 버퍼에 대한 전송만 해시합니다.
SET_TENSOR 메시지 내의 새로운 `cache_flag` 바이트는 캐시 항목을 저장해야 할 시기를 신호하며, 이전 서버 측 대기 상태 로직을 대체합니다.

이 최적화는 계산 데이터가 디스크 공간을 채우는 것을 방지하여 가중치만 해시 경로를 통해 캐싱되도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10984, CUDA 행 연속 SUM_ROWS 지원 추가

llama.cpp 프로젝트는 버전 b10984를 출시하여 행 연속 SUM_ROWS 연산에 대한 CUDA 지원을 도입했습니다. 이 업데이트는 공유 커널을 통해 행 연속 텐서를 처리하기 위해 GGML_OP_MEAN을 포함하도록 코드를 정리합니다.

github llama.cpp · 3시간 전 · 조회수 2회

llama.cpp b10981, Gemma-4의 상태 디코딩 수정 및 GPU MoE 추론 최적화

llama.cpp b10981 릴리스는 OpenVINO 백엔드의 상태 디코딩 경로에서 중요한 정확성 문제를 해결하며, 특히 레이어별 헤드 크기를 사용하는 Gemma-4와 같은 모델에 대한 지원을 수정합니다. 또한 GPU Mixture of Experts (MoE) 추론을 위한 최적화를 도입하고 KV 상태 재배치를 통해 성능을 개선합니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp가 MiniCPM3의 HSK=96, HSV=64에 Metal FA 커널 추가

llama.cpp 프로젝트는 Apple Silicon에서 MiniCPM3가 사용하는 특정 구성에 대해 Flash Attention (FA) 커널 지원을 추가했습니다. 이 변경은 주의 키 길이 96 및 값 길이 64에 대한 누락된 커널 인스턴스화로 인해 `-fa auto` 플래그가 중단되는 충돌을 해결합니다.

github llama.cpp · 18시간 전 · 조회수 3회

llama.cpp b10970 릴리스는 MFMA 장치에서 fp32 누적 사용

llama.cpp 프로젝트가 버전 b10970을 출시했으며, 여기에는 fattn-mma 백엔드에 대한 기술적 업데이트가 포함되어 있습니다. 이 변경은 CDNA 아키텍처 장치에 대해 fp32 누산기의 사용을 구현합니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10956이 SYCL의 top_k에서 큰 k에 대한 radix select를 추가함

llama.cpp b10956 릴리스는 TOP_K 연산에서 큰 k 값을 처리하기 위해 SYCL 백엔드에 래디스 선택 알고리즘을 도입했으며, 이전에는 k > 32일 때 CPU로 폴백되었습니다. 이 변경은 히스토그램 기반 패스를 사용하여 공유 로컬 메모리 사용량을 k에 독립적으로 유지함으로써 큰 k의 GPU 상주 처리를 가능하게 합니다.