github llama.cpp · 1시간 전 · inference

llama.cpp b10326 타이밍에 보코더 패스 반영

번역 English → 한국어

llama.cpp 프로젝트는 보코더 패스를 포함하여 타이밍 측정 계산 방식을 수정하는 빌드 b10326을 출시했습니다.

업데이트는 `get_output`이 파이프라인에 의해 지연된 파형 작업을 실행하고, 모델에 따라 단일 후행 윈도우부터 전체 패스까지 측정함을 보장합니다.
이 변경은 보고된 총 시간과 오디오 처리 비율의 정확성을 유지합니다.
바이너리는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler에서 사용할 수 있습니다.

이 수정은 보고된 타이밍에 오디오 처리 오버헤드가 올바르게 반영되도록 하여 성능 지표의 정확성을 높입니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

llama.cpp b10321은 부분 simdgroup 행 길이에 대한 NORM/RMS_NORM을 수정합니다

llama.cpp 프로젝트는 Metal에서 GGML_OP_NORM 및 GGML_OP_RMS_NORM 연산에 대한 중요한 수정 사항을 포함하는 버전 b10321을 출시했습니다. 이 업데이트는 스레드 그룹 크기가 부분 SIMD 그룹을 남기도록 설정되었을 때, 누락된 부분 합계로 인해 평균과 분산 계산이 잘못되는 문제를 해결합니다.

github llama.cpp · 2시간 전

llama.cpp b10322, SSM_CONV 창 로드를 결합하여 ~1.85x 속도 향상

llama.cpp 프로젝트는 SYCL 백엔드에서 SSM_CONV 창 로드를 결합하는 성능 최적화를 포함한 빌드 b10322를 출시했습니다.

github llama.cpp · 4시간 전

llama.cpp b10313이 서버에 LRU 스케줄러 추가

llama.cpp 프로젝트는 서버 구성 요소에 Least Recently Used (LRU) 스케줄러를 도입한 버전 b10313을 출시했습니다. 이 업데이트에는 요청 병합 처리 및 스트리밍 사례에 대한 수정 사항이 포함됩니다.

github llama.cpp · 5시간 전

llama.cpp b10311이 Qwen3-TTS 텍스트 스트림 중복 수정

llama.cpp 프로젝트는 Qwen3-TTS 파이프라인에 대한 수정을 포함한 빌드 b10311을 출시했습니다. 이 업데이트는 모델이 생성 중에 입력 발화를 두 번 읽는 문제를 해결합니다.

github llama.cpp · 5시간 전

llama.cpp b10312 릴리스: 바쁜 모델용 서버 수정 포함

llama.cpp 프로젝트가 서버 구성 요소에 특정 업데이트를 포함한 버전 b10312를 출시했습니다. 주요 변경 사항은 라우터에서 바쁜 모델이 제거되는 문제를 해결하는 것입니다.