github llama.cpp · 1시간 전 · inference

llama.cpp b10638이 Vulkan cross_entropy_loss를 추가하고 바이너리 출시

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10638을 출시했으며, 이 버전은 `cross_entropy_loss` 및 `cross_entropy_loss_back` 함수에 대한 Vulkan 지원을 구현했습니다.

이번 릴리스에는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu x64, arm64, s390x), Windows(x64 및 arm64), Android(arm64), openEuler용 사전 빌드된 바이너리가 포함됩니다.
GPU 가속은 지원되는 플랫폼에서 Vulkan, CUDA(12.4, 13.3, 13.4 preview), ROCm 7.14, OpenCL Adreno, SYCL, OpenVINO를 통해 사용할 수 있습니다.
이 릴리스에서는 KleidiAI가 포함된 macOS Apple Silicon 빌드가 현재 비활성화되어 있습니다.
핵심 바이너리와 함께 업데이트된 UI 패키지도 제공됩니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

llama.cpp b10639, Vulkan warptile 워프 크기 가정 수정

llama.cpp 프로젝트는 빌드 b10639를 출시했으며, 여기에는 이전에 워프타일이 워프 크기가 64 이하라고 가정했던 Vulkan 백엔드에 대한 수정이 포함되어 있습니다. 이 변경은 더 큰 워프로 인한 문제를 우회하기 위해 워프 크기를 제한합니다.

media Hugging Face Forums · 2시간 전 · 조회수 1회

Celestium Neon이 VRAM을 정리하여 4GB GPU에서 SDXL OOM을 수정합니다

Celestium Neon은 GTX 1650처럼 메모리가 4GB에 불과한 그래픽 카드에서 Stable Diffusion XL (SDXL) 추론을 가능하게 하고 VRAM을 정리하도록 설계된 새로운 도구입니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b10636, 기본값으로 npm UI 빌드 비활성화 및 CI 정리

llama.cpp 프로젝트는 웹 인터페이스 빌드 시 기본 동작을 변경하는 버전 b10636을 출시했습니다. npm 기반 UI 빌드는 이제 기본값으로 비활성화되었으며(LLAMA_BUILD_UI=OFF), 대신 로컬 소스 또는 사전 빌드 다운로드에서 UI가 임베딩됩니다.

github llama.cpp · 6시간 전 · 조회수 1회

llama.cpp b10635이 sm_60에서 MoE에 대한 mmq를 차단 해제

llama.cpp 프로젝트는 CUDA 지원에 대한 특정 업데이트를 포함하는 버전 b10635를 출시했습니다. 주요 변경 사항은 계산 능력 6.0 (sm_60) GPU에서 Mixture of Experts (MoE) 아키텍처에 대한 혼합 정밀도 행렬 곱셈(mmq)의 차트를 해제하는 것입니다.

media Hugging Face Forums · 8시간 전 · 조회수 1회

EdgeFirst이 20개 엣지 플랫폼에서 YOLO 모델 검증용 Rust 파이프라인 발표

EdgeFirst은 Hugging Face에 EdgeFirst Model Zoo를 게시했으며, 여기에는 20개의 서로 다른 엣지 플랫폼에서 검증된 YOLOv5, YOLOv8, YOLO11 및 YOLO26 모델이 포함되어 있습니다. 이 검증은 대상 하드웨어에서 직접 제로 복사 DMA 전처리, 모델 디코딩 및 후처리를 처리하는 단일 Rust 파이프라인에 의존합니다.