github llama.cpp · 1시간 전 · inference

llama.cpp b10311이 Qwen3-TTS 텍스트 스트림 중복 수정

번역 English → 한국어

llama.cpp 프로젝트는 Qwen3-TTS 파이프라인에 대한 수정을 포함한 빌드 b10311을 출시했습니다. 이 업데이트는 모델이 생성 중에 입력 발화를 두 번 읽는 문제를 해결합니다.

Qwen3-TTS 생성 동안 텍스트 스트림이 다시 피드되는 원인이 되었던 비스트리밍 프리필 오버레이의 버그를 수정합니다.
트레일링 텍스트 히든 상태를 단일 tts_pad 행으로 축소하여 프리필 레이아웃과 일치하도록 수정합니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

llama.cpp b10313이 서버에 LRU 스케줄러 추가

llama.cpp 프로젝트는 서버 구성 요소에 Least Recently Used (LRU) 스케줄러를 도입한 버전 b10313을 출시했습니다. 이 업데이트에는 요청 병합 처리 및 스트리밍 사례에 대한 수정 사항이 포함됩니다.

github llama.cpp · 1시간 전 실시간

llama.cpp b10312 릴리스: 바쁜 모델용 서버 수정 포함

llama.cpp 프로젝트가 서버 구성 요소에 특정 업데이트를 포함한 버전 b10312를 출시했습니다. 주요 변경 사항은 라우터에서 바쁜 모델이 제거되는 문제를 해결하는 것입니다.

github llama.cpp · 4시간 전

llama.cpp b10307이 SYCL NVFP4 파싱 수정

llama.cpp 프로젝트는 NVFP4 양자화에 사용되는 UE4M3 스케일링 계수를 올바르게 파싱하기 위한 SYCL GPU 코드 수정을 포함한 버전 b10307을 출시했습니다.

github llama.cpp · 5시간 전

llama.cpp b10305이 DSv4 OPs에 대한 SYCL 지원을 추가합니다

llama.cpp 프로젝트는 SYCL 백엔드 내에서 특정 DSv4 연산에 대한 지원을 도입한 빌드 b10305을 출시했습니다. 이 업데이트에는 LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST 및 DSV4_HC_PRE 연산자의 구현이 포함됩니다.

github llama.cpp · 5시간 전

llama.cpp b10306이 SYCL GLU 평탄 경로 추가 및 커널 통합

llama.cpp b10306 릴리스는 게이트드 리니어 유닛(GLU) 연산을 대상으로 하는 SYCL 백엔드의 성능 최적화를 도입합니다. 이 업데이트는 융합된 GLU 연산에 대한 연속적인 고속 경로를 추가하고, 이전에 별개였던 커널을 통합하여 공통 런처를 공유하도록 합니다.