github llama.cpp · 방금 · inference

llama.cpp b10665, Nemotron3.5에 대한 DSpark 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 Nemotron3.5 모델에 대한 DSpark 지원을 도입한 빌드 b10665를 출시했습니다.

src/models/dflash.cpp 업데이트를 통해 Nemotron3.5에 대한 DSpark 지원을 추가합니다.
macOS (Apple Silicon 및 Intel), Linux (Ubuntu with CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리를 제공합니다.

이 릴리스를 통해 사용자는 다양한 하드웨어 아키텍처와 운영 체제에서 DSpark 형식을 사용하여 Nemotron3.5 모델을 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp가 Qwen3.8-Flash-Next (qwen4exp) 아키텍처 지원을 추가합니다

llama.cpp 프로젝트는 하이퍼 연결, 게이트드 델타 넷, 전문가 혼합(MoE), PLE n-gram 해시 임베딩을 포함한 특정 구성 요소를 구현하여 Qwen3.8-Flash-Next (qwen4exp) 모델 아키텍처에 대한 지원을 추가했습니다.

github llama.cpp · 10시간 전 · 조회수 4회

llama.cpp b10653 모델 로딩을 위해 TENSOR_READ_LAZY 추가

llama.cpp 프로젝트는 모델 로더에 TENSOR_READ_LAZY 기능을 도입한 빌드 b10653을 출시했습니다. 이 변경에는 TENSOR_GET_ROW_LAZY 함수의 추가와 해당하는 --tensor-read-lazy 명령줄 플래그가 포함됩니다.

github llama.cpp · 10시간 전 · 조회수 3회

llama.cpp b10655이 Vulkan에서 Deepseek V4 연산에 대한 LIGHTNING_INDEXER 지원을 추가함

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 Deepseek V4 연산을 활성화하기 위해 LIGHTNING_INDEXer 연산에 대한 지원을 도입한 빌드 b10655을 출시했습니다.

github llama.cpp · 1일 전 · 조회수 6회

llama.cpp b10639, Vulkan warptile 워프 크기 가정 수정

llama.cpp 프로젝트는 빌드 b10639를 출시했으며, 여기에는 이전에 워프타일이 워프 크기가 64 이하라고 가정했던 Vulkan 백엔드에 대한 수정이 포함되어 있습니다. 이 변경은 더 큰 워프로 인한 문제를 우회하기 위해 워프 크기를 제한합니다.

media Hugging Face Forums · 2일 전 · 조회수 4회

EdgeFirst이 20개 엣지 플랫폼에서 YOLO 모델 검증용 Rust 파이프라인 발표

EdgeFirst은 Hugging Face에 EdgeFirst Model Zoo를 게시했으며, 여기에는 20개의 서로 다른 엣지 플랫폼에서 검증된 YOLOv5, YOLOv8, YOLO11 및 YOLO26 모델이 포함되어 있습니다. 이 검증은 대상 하드웨어에서 직접 제로 복사 DMA 전처리, 모델 디코딩 및 후처리를 처리하는 단일 Rust 파이프라인에 의존합니다.