github llama.cpp · 방금 · inference

llama.cpp b10780, 피어-투-피어 복사 지원을 위해 SYCL API 향상

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10780을 출시했으며, 여기에는 SYCL 백엔드에 대한 특정 개선 사항이 포함됩니다. 이 업데이트는 SYCL 장치에 대한 피어-투-피어 복사(peer-to-peer copy) 기능을 활성화하기 위해 API를 수정합니다.

이번 릴리스에서는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu x64, arm64, s390x), Windows(x64 및 arm64), Android, openEuler용 바이너리를 제공합니다.
지원되는 하드웨어 백엔드에는 CPU, Vulkan, ROCm 10.0, OpenVINO, CUDA 12/13, SYCL이 포함됩니다.
이 버전에서는 KleidiAI가 포함된 macOS Apple Silicon 빌드가 현재 비활성화되어 있습니다.
Windows arm64 CUDA 13 지원은 미리보기 릴리스(preview release)로 표시되었습니다.

이 업데이트를 통해 사용자는 SYCL 구현 내에서 새로운 피어-투-피어 복사 기능을 활용할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp, NVIDIA Nemotron-3-Puzzle-75B-A9B 지원 추가

llama.cpp가 NVIDIA Nemotron-3-Puzzle-75B-A9B 모델에 대한 지원을 도입하여 이 Mixture of Experts 아키텍처의 추론을 가능하게 합니다. 이번 업데이트는 모델이 서로 다른 n_ff_exp 및 top-k 값을 가진 40개의 MoE 레이어를 가지고 있기 때문에 필요한 가변 레이어별 전문가 피드포워드 크기 및 top-k 라우팅을 위한 인프라를 구현합니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10777이 Q4_K 다열 MMVQ의 중복 작업을 줄임

llama.cpp 프로젝트는 Q4_K 다열 행렬-벡터 곱셈(MMVQ)을 위한 SYCL 백엔드 최적화를 포함한 빌드 b10777을 출시했습니다. 이번 업데이트는 가중치 언패킹 및 활성화 재사용 전략을 통해 중복 계산 작업을 줄이는 데 중점을 둡니다.

github llama.cpp · 14시간 전 · 조회수 2회

llama.cpp b10766이 DeepSeek 4 비전 지원을 추가합니다

llama.cpp 프로젝트는 DeepSeek 4 모델의 입력 비전을 올바르게 지원하기 위한 수정 사항을 포함한 빌드 b10766을 출시했습니다.

github llama.cpp · 15시간 전 · 조회수 4회

llama.cpp b10762, DeepSeek-V4-Flash-Vision-Exp 지원 추가

llama.cpp 프로젝트에서 DeepSeek-V4-Flash-Vision-Exp 모델에 대한 지원을 도입한 빌드 b10762를 출시했습니다. 이 업데이트에는 명령줄 인터페이스를 통한 최소 및 최대 토큰 수 처리도 포함되어 있습니다.

github llama.cpp · 23시간 전 · 조회수 1회

llama.cpp b10758, Hexagon용 MUL_MAT 및 MUL_MAT_ID 융합 추가

llama.cpp 프로젝트가 빌드 b10758을 출시하며 Hexagon DSP에 대한 MUL_MAT 및 MUL_MAT_ID 융합 기능을 도입했습니다. 이 업데이트에는 Qualcomm 하드웨어의 안정성과 성능을 개선하기 위한 여러 수정 사항도 포함되어 있습니다.