github llama.cpp · 11시간 전 · inference

llama.cpp b10709, 서버 간 RPC 버퍼 직렬화 수정

번역 English → 한국어

llama.cpp 프로젝트는 크로스 서버 통신 중 텐서 버퍼 처리와 관련된 RPC 하위 시스템의 중요한 문제를 해결하는 빌드 b10709를 출시했습니다.

핵심 변경 사항은 버퍼가 그래프를 수신하는 RPC 디스패처에 속할 때만 원격 버퍼 포인터를 포함하여 다른 서버에 속한 버퍼의 직렬화를 방지합니다.
크로스 서버 텐서 직렬화에 대한 올바른 동작을 검증하기 위해 두 서버에 대한 회귀 테스트가 추가되었습니다.
macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows(CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, iOS용 사전 빌드 바이너리가 제공됩니다.

이 수정은 서로 다른 RPC 서버 간 잘못된 버퍼 공유를 방지하여 분산 추론 설정에서 데이터 무결성을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10721이 WebGPU 충돌을 수정하고 Windows용 CUDA 13.4 지원을 추가했습니다

llama.cpp 프로젝트는 WebGPU 백엔드에 대한 중요한 수정과 Windows에서의 하드웨어 지원 확장을 포함하는 빌드 b10721을 출시했습니다.

github llama.cpp · 2시간 전

llama.cpp b10718이 specdec 및 멀티 토큰에 MOE 융합을 확장

llama.cpp 프로젝트는 CUDA 백엔드에 중요한 업데이트를 포함하는 버전 b10718을 출시했습니다. 가장 주목할 만한 변경은 Mixture of Experts (MOE) 융합을 스펜크티브 디코딩(specdec) 지원을 위해 확장하여, 이전 MOE glu 융합과 topk-router 융합이 한 번에 하나의 토큰만 처리하도록 제한되었던 문제를 해결한 것입니다.

github llama.cpp · 4시간 전 · 조회수 3회

llama.cpp b10717 릴리스로 SYCL 메모리 정보 검색이 향상됨

llama.cpp 프로젝트는 Intel GPU용 SYCL 백엔드에 대한 특정 기능을 개선한 버전 b10717을 출시했습니다. 이 업데이트는 L0 SYCL API를 활용하여 사용 가능한 메모리 정보를 검색하는 능력을 향상시킵니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b10715, KV 캐시 주입에 DFlash 인코더 융합

llama.cpp 프로젝트는 DFlash 구현에 대한 주요 최적화를 포함하는 빌드 b10715를 출시했습니다. 이제 DFlash 인코더는 디코딩 중 KV 캐시 주입 프로세스에 직접 융합됩니다.

media r/LocalLLaMA · 6시간 전 · 조회수 3회

pipecat-ai, GPT 5.6 Terra 성능을 갖춘 phonellm-alpha-1 출시

pipecat-ai 프로젝트는 일반적인 음성 에이전트 작업에서 GPT 5.6 과 비교할 만한 성능을 달성하는 phonellm-alpha-1 모델을 출시했습니다.