github llama.cpp · 1시간 전 · inference

llama.cpp b10322, SSM_CONV 창 로드를 결합하여 ~1.85x 속도 향상

번역 English → 한국어

llama.cpp 프로젝트는 SYCL 백엔드에서 SSM_CONV 창 로드를 결합하는 성능 최적화를 포함한 빌드 b10322를 출시했습니다.

Arc Pro B70에서 인터리브된 A/B 테스트는 특정 텐서 모양에 대해 1.85x에서 1.87x의 속도 향상을 보였으며, n_t=1일 때는 무시할 수 있는 변화만 있었습니다.
64개 블록 중 48개에서 ssm_conv를 실행하는 Qwen35 27B Q4_K - Medium 모델에 대한 벤치마크는 프롬프트 처리 시간의 +2.2% 개선을 나타냈습니다.
이 릴리스는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler에 대한 바이너리를 제공합니다.

이 업데이트는 호환되는 하드웨어에서 SSM_CONV 연산을 사용하는 워크로드의 추론 처리량을 향상시킵니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10326 타이밍에 보코더 패스 반영

llama.cpp 프로젝트는 보코더 패스를 포함하여 타이밍 측정 계산 방식을 수정하는 빌드 b10326을 출시했습니다.

github llama.cpp · 방금 실시간

llama.cpp b10321은 부분 simdgroup 행 길이에 대한 NORM/RMS_NORM을 수정합니다

llama.cpp 프로젝트는 Metal에서 GGML_OP_NORM 및 GGML_OP_RMS_NORM 연산에 대한 중요한 수정 사항을 포함하는 버전 b10321을 출시했습니다. 이 업데이트는 스레드 그룹 크기가 부분 SIMD 그룹을 남기도록 설정되었을 때, 누락된 부분 합계로 인해 평균과 분산 계산이 잘못되는 문제를 해결합니다.

github llama.cpp · 3시간 전

llama.cpp b10313이 서버에 LRU 스케줄러 추가

llama.cpp 프로젝트는 서버 구성 요소에 Least Recently Used (LRU) 스케줄러를 도입한 버전 b10313을 출시했습니다. 이 업데이트에는 요청 병합 처리 및 스트리밍 사례에 대한 수정 사항이 포함됩니다.

github llama.cpp · 4시간 전

llama.cpp b10311이 Qwen3-TTS 텍스트 스트림 중복 수정

llama.cpp 프로젝트는 Qwen3-TTS 파이프라인에 대한 수정을 포함한 빌드 b10311을 출시했습니다. 이 업데이트는 모델이 생성 중에 입력 발화를 두 번 읽는 문제를 해결합니다.

github llama.cpp · 4시간 전

llama.cpp b10312 릴리스: 바쁜 모델용 서버 수정 포함

llama.cpp 프로젝트가 서버 구성 요소에 특정 업데이트를 포함한 버전 b10312를 출시했습니다. 주요 변경 사항은 라우터에서 바쁜 모델이 제거되는 문제를 해결하는 것입니다.